在信息论中,条件熵描述了在已知第二个随机变量 X {\displaystyle X} 的值的前提下,随机变量 Y {\displaystyle Y} 的信息熵还有多少。同其它的信息熵一样,条件熵也用Sh、nat、Hart等信息单位表示。基于 X {\displaystyle X} 條件的 Y {\displaystyle...
3 KB (831 words) - 12:23, 8 February 2024
在信息论中,熵(英語:entropy,又稱信息熵、信源熵、平均自信息量)是接收的每条消息中包含的信息的平均量。这里的“消息”代表来自分布或数据流中的事件、样本或特征。(熵最好理解为不确定性的量度而不是确定性的量度,因为越随机的信源的熵越大。)来自信源的另一个特征是样本的概率分布。这里的想法是,比较...
18 KB (3,264 words) - 02:55, 9 October 2024
(X_{n})} 在条件熵的定义中,使用了联合熵 H ( X | Y ) = H ( X , Y ) − H ( Y ) {\displaystyle \mathrm {H} (X|Y)=\mathrm {H} (X,Y)-\mathrm {H} (Y)\,} 互信息的定义中也出现了联合熵的身影: I (...
2 KB (522 words) - 03:18, 27 September 2018
熵(shāng)是一種測量在動力學方面不能做功的能量總數,也就是當總體的熵增加,其做功能力也下降,熵的量度正是能量退化的指標。熵亦被用於計算一個系統中的失序現象,也就是計算該系統混亂的程度。熵是一个描述系统状态的函数,但是经常用熵的参考值和变化量进行分析比较,它在控制论、概率论、数论、天体物理、生...
22 KB (3,743 words) - 09:26, 30 September 2024
KL散度(Kullback-Leibler divergence,簡稱KLD),在訊息系统中称为相对熵(relative entropy),在连续时间序列中称为随机性(randomness),在统计模型推断中称为訊息增益(information gain)。也称訊息散度(information divergence)。...
5 KB (990 words) - 17:17, 23 April 2024
微分熵是消息理論中的一個概念,是從以離散隨機變數所計算出的夏農熵推廣,以連續型隨機變數計算所得之熵,微分熵與離散隨機變數所計算出之夏農熵,皆可代表描述一信息所需碼長的下界,然而,微分熵與夏農熵仍存在著某些相異的性質。 令 X {\displaystyle X} 為一連續型隨機變數,其機率密度函數為 f...
8 KB (2,147 words) - 07:00, 28 May 2024
研究熱力學的熵量和生命演化之間的關係,大約開始於20世紀初。 1910年,美國史學家亨利·亞當斯(Henry Adams)印發給大學圖書館和歷史學教授一本小冊,A Letter to American Teachers of History,提出了依據熱力學第二定律和熵...
14 KB (2,428 words) - 03:13, 16 February 2023
= p ( y | x ) p ( x ) {\displaystyle p(x,y)=p(y|x)p(x)} ,代入聯合熵的定義,可以分離出條件熵,於是得到聯合熵與條件熵的關係式: H ( X , Y ) = H ( X ) + H ( Y | X ) = H ( Y ) + H ( X | Y...
11 KB (2,038 words) - 14:25, 14 October 2024
熵狀態──演化,同样地,第二类永动机永不可能实现。 這一定律的歷史可追溯至尼古拉·卡诺对于热机效率的研究,及其于1824年提出的卡诺定理。定律有许多种表述,其中最具代表性的是克勞修斯表述(1850年)和开尔文表述(1851年),这些表述都可被证明是等价的。定律的数学表述主要借助克勞修斯所引入的熵的概念,具体表述为克勞修斯定理。...
27 KB (4,050 words) - 11:37, 21 June 2024
X_{t-1:t-L}\right),} 其中H ( X ) 表示X的香农熵。此外,还可以使用其他类型的熵度量(例如雷尼熵(英语:Rényi entropy))对上述定义进行扩展。 转移熵可看作一种条件互信息(英语:Conditional mutual information),其条件为受影响变量的历史值 Y t − 1 : t...
9 KB (1,187 words) - 09:41, 8 November 2023
risks)的下界。 用符号 H ( ⋅ ) {\displaystyle H(\cdot )} 表示熵, H ( X | Y ) {\displaystyle H(X|Y)} 表示随机变量X与Y之间的条件熵, X ~ {\displaystyle {\tilde {X}}} 表示对于X的分类,e表示分类错误的事件(...
3 KB (372 words) - 18:18, 7 January 2022