Απόκλιση Kullback–Leibler

Στην θεωρία πληροφορίας, η απόκλιση Kullback-Leibler (KL) (ή σχετική εντροπία) μεταξύ δύο κατανομών πιθανότητας $p$ και $q$ ορίζεται ωςΠρότυπο:Rp

$D_{\mathrm{K}\mathrm{L}}(p\Vert q):={\mathrm{E}}_{X\sim p}[-\log q(x)+\log p(X)].$

Για διακριτές τυχαίες μεταβλητές με πεδίο ορισμού $𝒳$, αυτή η ποσότητα είναι ίση με

$D_{\mathrm{K}\mathrm{L}}(p\Vert q)=\sum _{x\in 𝒳}p(x)\log \left(\frac{p(x)}{q(x)}\right),$

και για συνεχείς τυχαίες μεταβλητές είναι ίση με

$D_{\mathrm{K}\mathrm{L}}(p\Vert q)=\underset{x\in 𝒳}{\int }p(x)\log \left(\frac{p(x)}{q(x)}\right)\mathrm{d}x.$

Η ποσότητα αυτή μπορεί να ερμηνευτεί ως η αναμενόμενη τιμή της έξτρα πληροφορίας που χρειάζεται για να κωδικοποιήσουμε την τυχαία μεταβλητή $X$ με κατανομή $p$ υποθέτοντας ότι στην πραγματικότητα έχει κατανομή $q$.

Η συνάρτηση είναι απόκλιση και όχι μετρική απόσταση καθώς δεν ικανοποιεί την τριγωνική ανισότητα ούτε είναι συμμετρική.

Παράδειγμα

Οι κατανομές πιθανότητας $p$ και $q$.

Για τις κατανομές $p=(\frac{1}{3},\frac{1}{3},\frac{1}{3})$ και $q=(0.2,0.5,0.3)$, η απόκλιση KL δίνεται από

$\begin{array}{cc}{D}_{\mathrm{K}\mathrm{L}}(p\Vert q)& =p_1{\log }_2(p_1/q_1)+p_2{\log }_2(p_2/q_2)+p_3{\log }_2(p_3/q_3)\\ & =\frac{1}{3}\cdot {\log }_2\left(\frac{1/3}{0.2}\right)+\frac{1}{3}\cdot {\log }_2\left(\frac{1/3}{0.5}\right)+\frac{1}{3}\cdot {\log }_2\left(\frac{1/3}{0.3}\right)\\ & \approx 0.1013,\end{array}$

και

$\begin{array}{cc}{D}_{\mathrm{K}\mathrm{L}}(p\Vert q)& =q_1{\log }_2(q_1/p_1)+q_2{\log }_2(q_2/p_2)+q_3{\log }_2(q_3/p_3)\\ & =0.2\cdot {\log }_2\left(\frac{0.2}{1/3}\right)+0.5\cdot {\log }_2\left(\frac{0.5}{1/3}\right)+0.3\cdot {\log }_2\left(\frac{0.3}{1/3}\right)\\ & \approx 0.0994.\end{array}$

Από αυτό το παράδειγμα φαίνεται ότι η απόκλιση δεν είναι συμμετρική.

Ιδιότητες

• (Μη-μηδενικότητα) Για οποιεσδήποτε δύο κατανομές $p$ και $q$, ισχύει ότι

$D_{\mathrm{K}\mathrm{L}}(p\Vert q)\ge 0.$

• (Κυρτότητα) Η απόκλιση Kullback-Leibler είναι κυρτή συνάρτηση στα ζεύγη των κατανομών $(p,q)$, δηλαδή για κάθε ζεύγη κατανομών $(p_1,q_1)$ και $(p_2,q_2)$ και για κάθε πραγματικό αριθμό $0<\lambda <1$, ισχύει ότι

$D_{\mathrm{K}\mathrm{L}}(\lambda \cdot p_1+(1-\lambda )\cdot p_2\Vert \lambda \cdot q_1+(1-\lambda )\cdot q_2)\le \lambda \cdot D_{\mathrm{K}\mathrm{L}}(p_1\Vert q_1)+(1-\lambda )\cdot D_{\mathrm{K}\mathrm{L}}(p_2\Vert q_2).$

• (Ανεξάρτητες μεταβλητές) Η απόκλιση Kullback-Leibler είναι αθροιστική για τις ανεξάρτητες τυχαίες μεταβλητές $X$ και $Y$, δηλαδή με $p_{(X,Y)}(x,y)=p_1(x)p_2(y)$ και $q_{(X,Y)}(x,y)=q_1(x)q_2(y)$,

$D_{\mathrm{K}\mathrm{L}}(p\Vert q)=D_{\mathrm{K}\mathrm{L}}(p_1\Vert q_1)+D_{\mathrm{K}\mathrm{L}}(p_2\Vert q_2).$

Δείτε επίσης

• Εντροπία πληροφοριών
• Ανισότητα Γκιμπς
• Ανισότητα Γένσεν