При выводе дивергенции KL, откуда берется ожидание? - Математика
Винтажный Клуб для гитаристов
0 голосов
/

Я пытаюсь понять следующую часть вывода дивергенции KL в вариационном выводе.

\begin{align} & D_\text{KL}[Q(z\mid X) \parallel P(z\mid X)] = \sum_z Q(z\mid X) \log \frac{Q(z\mid X)}{P(z\mid X)} \tag 1 \\[8pt] = {} & \operatorname E\left[\log\frac{Q(z\mid X)}{P(z\mid X)}\right] \tag 2 \\[8pt] = {} & \operatorname E[\log Q(z\mid X) - \log P(z\mid X)] \tag 3 \end{align}

Я не понимаю, какперейти от шага $(1)$ к шагу $(2).$ Как суммирование в $(1)$ трансформировалось в ожидание, наблюдаемое в $(2)$?

1 Ответ

1 голос
/

$Q(z \mid X)$ - это PMF.

Обычно с PMF $p(z)$ для дискретной случайной величины $Z$ вы можете написать $$E[g(Z)] = \sum_z g(z) p(z).$$ В вашем случае $p(z) = Q(z \mid X)$ и $g(z) = \log \frac{Q(z \mid X)}{p(z \mid X)}$.

Добро пожаловать на сайт Математика, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...