Семинар¶

Задачи¶

Задача 1

Пусть \(X\) – случайная величина. Найдите \(H(X)\), если

[а] \(X\) равновероятно принимает значения \(1\), \(5\), \(7\).

[б] \(X\) равномерно распределена на \([0; a]\).

[в] \(X \sim \mathcal{N}(\mu, \sigma^2)\).

Задача 2

Найдите \(KL\)-дивергенцию из распределения \(A\) в распределение \(B\), если

[а] \(A\) – это \(\mathrm{Bin}(2, \frac{1}{3})\) распределение, а \(B\) – равновероятное на \(0\), \(1\), \(2\) распределение.

[б] \(A\) – это равновероятное на \(0\), \(1\), \(2\) распределение, а \(B\) – \(\mathrm{Bin}(2, \frac{1}{3})\) распределение.

[в] \(A\) – равновероятное на \(0\), \(1\), \(2\), \(3\) распределение, а \(B\) – \(\mathrm{Bin}(2, \frac{1}{3})\) распределение.