Ανισότητα λογαρίθμου-αθροίσματος

Στα μαθηματικά, η ανισότητα λογαρίθμου-αθροίσματος λέει ότι για μη-αρνητικούς πραγματικούς αριθμούς $a_1,\dots ,a_n$ και $b_1,\dots ,b_n$, ισχύει ότιΠρότυπο:Rp

$\sum _{i=1}^n{a}_i\log \left(\frac{a_i}{b_i}\right)\ge \left(\sum _{i=1}^n{a}_i\right)\log \left(\frac{\sum _{i=1}^n{a}_i}{\sum _{i=1}^n{b}_i}\right).$

Η ανισότητα βρίσκει αρκετές εφαρμογές στην θεωρία πληροφορίας.

Απόδειξη

Θα χρησιμοποιήσουμε την εξής μορφή της ανισότητας Γένσεν:

${\lambda }_{1}f(x_1)+\dots +{\lambda }_{n}f(x_n)\ge f({\lambda }_1{x}_1+\dots +{\lambda }_n{x}_n),$

για κάθε $x_1,\dots ,x_n$ και ${\lambda }_1,\dots ,{\lambda }_n\ge 0$ με ${\lambda }_1+\dots +{\lambda }_n=1$.

Έστω $a=\sum _{i=1}^n{a}_i$ και $b=\sum _{I=1}^n{b}_i$. Τότε,

Πρότυπο:NumBlk

Χρησιμοποιώντας την παραπάνω μορφή της ανισότητας Γένσεν για την κυρτή συνάρτηση $f(x)=-\log x$ με ${\lambda }_i=a_i/a$ και $x_i=\frac{b_i/a}{a_i/a}$, έχουμε ότι

Πρότυπο:NumBlk

Συνδυάζοντας τις (Πρότυπο:EquationNote) και (Πρότυπο:EquationNote) λαμβάνουμε την ζητούμενη ανισότητα.

Δείτε επίσης

• Εντροπία πληροφοριών
• Απόκλιση Kullback–Leibler
• Ανισότητα Γκιμπς