在信息论中，条件熵描述了在已知第二个随机变量 X {\displaystyle X} 的值的前提下，随机变量 Y {\displaystyle Y} 的信息熵还有多少。同其它的信息熵一样，条件熵也用Sh、nat、Hart等信息单位表示。基于 X {\displaystyle X} 條件的 Y {\displaystyle...

在信息论中，熵（英語：entropy，又稱信息熵、信源熵、平均自信息量）是接收的每条消息中包含的信息的平均量。这里的“消息”代表来自分布或数据流中的事件、样本或特征。（熵最好理解为不确定性的量度而不是确定性的量度，因为越随机的信源的熵越大。）来自信源的另一个特征是样本的概率分布。这里的想法是，比较...

(X_{n})} 在条件熵的定义中，使用了联合熵 H ( X | Y ) = H ( X , Y ) − H ( Y ) {\displaystyle \mathrm {H} (X|Y)=\mathrm {H} (X,Y)-\mathrm {H} (Y)\,} 互信息的定义中也出现了联合熵的身影： I (...

熵（shāng）是一種測量在動力學方面不能做功的能量總數，也就是當總體的熵增加，其做功能力也下降，熵的量度正是能量退化的指標。熵亦被用於計算一個系統中的失序現象，也就是計算該系統混亂的程度。熵是一个描述系统状态的函数，但是经常用熵的参考值和变化量进行分析比较，它在控制论、概率论、数论、天体物理、生...

KL散度（Kullback-Leibler divergence，簡稱KLD），在訊息系统中称为相对熵（relative entropy），在连续时间序列中称为随机性（randomness），在统计模型推断中称为訊息增益（information gain）。也称訊息散度（information divergence）。...

微分熵是消息理論中的一個概念，是從以離散隨機變數所計算出的夏農熵推廣，以連續型隨機變數計算所得之熵，微分熵與離散隨機變數所計算出之夏農熵，皆可代表描述一信息所需碼長的下界，然而，微分熵與夏農熵仍存在著某些相異的性質。 令 X {\displaystyle X} 為一連續型隨機變數，其機率密度函數為 f...

研究熱力學的熵量和生命演化之間的關係，大約開始於20世紀初。 1910年，美國史學家亨利·亞當斯（Henry Adams）印發給大學圖書館和歷史學教授一本小冊，A Letter to American Teachers of History，提出了依據熱力學第二定律和熵...

= p ( y | x ) p ( x ) {\displaystyle p(x,y)=p(y|x)p(x)} ，代入聯合熵的定義，可以分離出條件熵，於是得到聯合熵與條件熵的關係式: H ( X , Y ) = H ( X ) + H ( Y | X ) = H ( Y ) + H ( X | Y...

熵狀態──演化，同样地，第二类永动机永不可能实现。 這一定律的歷史可追溯至尼古拉·卡诺对于热机效率的研究，及其于1824年提出的卡诺定理。定律有许多种表述，其中最具代表性的是克勞修斯表述（1850年）和开尔文表述（1851年），这些表述都可被证明是等价的。定律的数学表述主要借助克勞修斯所引入的熵的概念，具体表述为克勞修斯定理。...

X_{t-1:t-L}\right),} 其中H ( X ) 表示X的香农熵。此外，还可以使用其他类型的熵度量（例如雷尼熵（英语：Rényi entropy））对上述定义进行扩展。 转移熵可看作一种条件互信息（英语：Conditional mutual information），其条件为受影响变量的历史值 Y t − 1 : t...

risks）的下界。 用符号 H ( ⋅ ) {\displaystyle H(\cdot )} 表示熵， H ( X | Y ) {\displaystyle H(X|Y)} 表示随机变量X与Y之间的条件熵， X ~ {\displaystyle {\tilde {X}}} 表示对于X的分类，e表示分类错误的事件（...