Лекция по машинному обучению от 31.03

[admin]

Тема: EM – алгоритм

EM-алгоритм (англ. Expectation-maximization (EM) algorithm) — алгоритм, используемый в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации. Алгоритм выполняется до сходимости. (//Wikipedia)

Материалы учебники:
- лекция Воронцова
- ШАД Яндекса

Интернет-источники:
- Википедия
- хорошее описание на Basegroup
- интересный пример с танками

Контрольные вопросы:
1. Что такое смесь гауссиан?
2. В чем суть E-шага и М-шага?
3. Как используются скрытые переменные в EM-алгоритмы? и что это такое?