Αμοιβαία πληροφορία

Διάγραμμα Βεν που δείχνει τη σχέση μεταξύ διαφόρων μέτρων πληροφορίας, όπου: $I(X,Y)$ η αμοιβαία πληροφορία, $H(X,Y)$, η απο-κοινού εντροπία, $H(X|Y)$ η σχετική εντροπία και $H(X),H(Y)$ η εντροπία.

Στην θεωρία πληροφορίας, η αμοιβαία πληροφορία είναι η ποσότητα που ορίζεται ως η σχετική εντροπία μεταξύ της από-κοινού κατανομής και το γινόμενο των περιθωριακών κατανομών, δύο διακριτών τυχαίων μεταβλητών $X$ και $Y$, ως εξής:Πρότυπο:Rp

$I(X,Y)=\sum _{x\in 𝒳}\sum _{y\in 𝒴}{p}_{(X,Y)}(x,y){\log }_2\left(\frac{p_{(X,Y)}(x,y)}{p_X(x)\cdot p_Y(y)}\right),$

ή ισοδύναμα, με την χρήση της απόκλισης Kullback-Leibler $D_{KL}$ ως εξής:

$I(X,Y)=D_{KL}(p_{(X,Y)}||p_X\otimes p_Y).$

Ιδιότητες

• (Μη-αρνητικότητα) Για κάθε τυχαία μεταβλητή $X$, ισχύει ότι $I(X,X)=H(X)\ge 0$.

$\begin{array}{cc}I(X,X)& =\sum _{x\in 𝒳}{p}_X(x){\log }_2\left(\frac{p_{(X,X)}(x,x)}{p_X(x)\cdot p_X(x)}\right)\\ & =\sum _{x\in 𝒳}{p}_X(x){\log }_2\left(\frac{p_X(x)}{p_X(x)\cdot p_X(x)}\right)\\ & =-\sum _{x\in 𝒳}{p}_X(x){\log }_2{p}_X(x)\\ & =H(X)\ge 0.\end{array}$

• (Συμμετρία) Για κάθε δύο τυχαίες μεταβλητές $X$ και $Y$, ισχύει ότι $I(X,Y)=I(Y,X)$.

Πρότυπο:Collapse top Προκύπτει από τον ορισμό της αμοιβαίας πληροφορίας και το γεγονός ότι $P_{(X,Y)}(x,y)=P_{(Y,X)}(y,x)$. Πρότυπο:Collapse bottom

• $I(X,Y)=H(Y)-H(Y|X)$.

$\begin{array}{cc}H(Y)-H(Y|X)& =-\sum _{y\in 𝒴}p(y){\log }_{2}p(y)+\sum _{x\in 𝒳}\sum _{y\in 𝒴}{p}_{(X,Y)}(x,y){\log }_2{p}_{Y|X}(y,x)\\ & =-\sum _{y\in 𝒴}{p}_Y(y){\log }_2{p}_Y(y)+\sum _{x\in 𝒳}\sum _{y\in 𝒴}{p}_{(X,Y)}(x,y){\log }_2\left(\frac{p_{(X,Y)}(y,x)}{p_X(x)}\right)\\ & =-\sum _{y\in 𝒴}\sum _{x\in 𝒳}{p}_{(X,Y)}(x,y){\log }_2{p}_Y(y)+\sum _{x\in 𝒳}\sum _{y\in 𝒴}{p}_{(X,Y)}(x,y){\log }_2\left(\frac{p_{(X,Y)}(y,x)}{p_X(x)}\right)\\ & =\sum _{x\in 𝒳}\sum _{y\in 𝒴}{p}_{(X,Y)}(x,y){\log }_2\left(\frac{p_{(X,Y)}(y,x)}{p_X(x)p_Y(y)}\right),\end{array}$

χρησιμοποιώντας ότι $\sum _{x\in 𝒳}{p}_{(X,Y)}(x,y)=p_Y(y)$ και $p_{(X,Y)}(x,y)=p_{Y|X}(y,x)\cdot p_X(x)$. Πρότυπο:Collapse bottom

Από την παρακάτω ιδιότητα προκύπτει η ονομασία αμοιβαία πληροφορία:

• $I(X,Y)=H(X)+H(Y)-H(X,Y)$

Πρότυπο:Collapse top Από τις ιδιότητες της από-κοινού πληροφορίας, προκύπτει ότι $H(X,Y)=H(X)+H(Y|X)$. Επομένως, από την προηγούμενη ιδιότητα προκύπτει ότι,

$I(X,Y)=H(Y)-H(Y|X)=H(Y)-(H(X,Y)-H(X))=H(X)+H(Y)-H(X,Y).$

Δείτε επίσης

• Εντροπία πληροφοριών
• Απόκλιση Kullback-Leibler
• Από-κοινού εντροπία
• Υπό-συνθήκη εντροπία