Ανισότητα Γκιμπς

Στα μαθηματικά, η ανισότητα Γκιμπς ή ανισότητα πληροφορίας (αναφέρεται και ως ανισότητα Gibbs) λέει ότι για οποιεσδήποτε δύο διακριτές κατανομές $p=(p_1,\dots ,p_n)$ και $q=(q_1,\dots ,q_n)$, ισχύει ότιΠρότυπο:Rp

$-\sum _{i=1}^n{p}_i\log p_i\le -\sum _{i=1}^n{p}_i\log q_i$.

Η ανισότητα παίρνει το όνομά της από τον Τζοσάια Γουίλαρντ Γκιμπς.

Αποδείξεις

Απόδειξη με ανισότητα Τζένσεν

Θα χρησιμοποιήσουμε την εξής μορφή της ανισότητας Τζένσεν για κοίλη συνάρτηση $f$ και τυχαία μεταβλητή $X$:

$E[f(X)]\ge f(E[X]).$

Θεωρούμε την τυχαία μεταβλητή $X$ με κατανομή την $p$ και την συνάρτηση $f(x)=\log x$, που είναι κυρτή. Επομένως,

$-\sum _{i=1}^n{p}_i\log \left(\frac{p_i}{q_i}\right)=\sum _{i=1}^n{p}_i\log \left(\frac{q_i}{p_i}\right)=E[\log \left(\frac{q_x}{p_x}\right)]\ge \log \left(E\left[\frac{q_x}{p_x}\right]\right)\ge \log \left(\sum _{i=1}^n{p}_i\frac{q_i}{p_i}\right)=\log \left(\sum _{i=1}^n{q}_i\right)=\log 1=0$.

Αναδιατάσσοντας, λαμβάνουμε την ανισότητα Γκμιπς,

$-\sum _{i=1}^n{p}_i\log \left(\frac{p_i}{q_i}\right)\ge 0\iff -\sum _{i=1}^n{p}_i\log p_i\ge -\sum _{i=1}{p}_i\log q_i$.

Απόδειξη με ανισότητα λογαρίθμου-αθροίσματος

Η ανισότητα λογαρίθμου-αθροίσματος δίνει ότι για οποιεσδήποτε ακολουθίες $a_1,\dots ,a_n$ και $b_1,\dots ,b_n$Πρότυπο:Rp

$\sum _{i=1}^n{a}_i\log \left(\frac{a_i}{b_i}\right)\ge a\log \left(\frac{a}{b}\right)$,

όπου $a=\sum _{i=1}^n{a}_i$ και $b=\sum _{i=1}^n{b}_i$.

Θέτοντας $a_i=p_i$ και $b_i=q_i$, τότε $a=b=1$, λαμβάνουμε

$\sum _{i=1}^n{p}_i\log \left(\frac{p_i}{q_i}\right)\ge 1\log \left(\frac{1}{1}\right)=0$.

Αναδιατάσσοντας όπως στην προηγούμενη απόδειξη, λαμβάνουμε το ζητούμενο.

Δείτε επίσης

• Εντροπία πληροφοριών
• Απόκλιση Kullback–Leibler (Χρησιμοποιείται στην απόδειξη ότι η απόκλιση είναι πάντοτε μη-αρνητική)
• Θεωρία πληροφορίας
• Ανισότητα λογαρίθμου-αθροίσματος