Курс Байесовские методы анализа данных, ФТиАД 2018

Где и когда

Занятия проходят по понедельникам, 18:00 — 21:00, ШАД, Оксфорд.

Ссылки

Канал в telegram для объявлений: https://t.me/joinchat/AAAAAE-WyZ3yUXyJWQORLg

Anytask курса (если нет логина, зарегистрироваться. инвайт 6i8JY8t)

Правила выставления оценок

В курсе предусмотрено несколько форм контроля знания:

• Домашние работы (на Python и теоретические)
• Экзамен

Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:

O_{итоговая} = 0.7 * О_{накопленная} + 0.3 * О_экз

O_{накопленная} = О_{домашние задания}

Оценка за домашнюю работу вычисляется как среднее по домашним заданиям.

Накопленная, экзаменационная и итоговая оценки округляются арифметически.

Экзамен

Вопросы к экзамену

Экзамен письменный, экзаменационная работа состоит из теоретических вопросов из списка вопросов и задач. Продолжительность написания: 1 час 30 минут. На экзамене нельзя ничем пользоваться.

Во время экзамена на проекторе или доске будут отображаться некоторые формулы (список в начале списка вопросов).

Правила сдачи домашних заданий

Дедлайн по заданиям — начало следующего занятия (жесткий).

Два раза за курс дедлайн можно просрочить, в этом случае за каждый день просрочки будет начисляться штраф -1 балл.

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам.

Материалы занятий

Занятие 1. Байесовские рассуждения

• Видео лекции
• Конспект лекции
• Еще один конспект
• Задачи семинара

Занятие 2. Сопряженные распределения и принцип наибольшей обоснованности

• Конспект-презентация
• Презентация с распределениями

Занятие 3. Экспоненциальный класс распределений и матричное дифференцирование

• Конспект об экспоненциальном классе от Michael I. Jordan
• Конспект о матричном дифференцировании и нормальном распределении
• О матричном дифференцировании не очень доступно но полно
• О матричном дифференцировании не очень полно но доступно и с кучей примеров

Занятие 4. Метод релевантных векторов

• Конспект-презентация
• Презентация с экспериментами

Занятие 5. EM-алгоритм

• Презентация по EM-алгоритму

Занятие 6. EM-алгоритм. Решение задач

• Презентация по задаче с восстановлением фото
• Байесовский метод главных компонент

Занятие 7. EM-алгоритм. Вариационный вывод

• Конспект с примерами применения
• Теория с пояснениями - 21 chapter, Murphy K.P. Machine Learning: A Probabilistic Perspective.

Занятие 8. Байесовские нейронные сети

• Презентация по байесовским нейронным сетям
• Презентация по разреживающему вариационному дропауту
• Статьи: VarDrop & LRT, ARD for NNs, SparseVD, BinDrop as BayesianNN

Занятие 9. Вариационные автокодировщики

• Презентация

Занятие 10. Методы Монте-Карло с марковскими цепями

• Конспект
• Подробный туториал на английском

Занятие 11. Latent Dirichlet Allocation

• Конспект лекции Ветрова
• Теория - 23 chapter, Murphy K.P. Machine Learning: A Probabilistic Perspective.
• Про тематическое моделирование

Занятие 12. Гауссовские процессы

• Презентация Е. Бурнаева
• Презентация М. Филиппоне

Занятие 12. State-Space Model. Bayesian Structural Time Series

• Теория - 18 chapter, Murphy K.P. Machine Learning: A Probabilistic Perspective.
• Видео о CausalImpact от создателя
• Статья о CausalImpact
• Библиотека CausalImpact на R (есть порт на python)

Задания

• Домашнее задание 1. Дедлайн: 18:00 17.09.18

• Домашнее задание 2. Дедлайн: 18:00 24.09.18. Сдавать в Anytask!

• Домашнее задание 3. Дедлайн: 18:00 01.10.18. Сдавать в Anytask!

• Домашнее задание 4 (пр.) Дедлайн: 18:00 08.10.18. Сдавать в Anytask! Обратите внимание, что в задании вектор правильных ответов обозначается t, а не y.

• Домашнее задание 5 Дедлайн: 18:00 29.10.18. Сдавать в Anytask!

• Домашнее задание 6. Теория по заданию. Данные. Дедлайн: 18:00 29.10.2018. Сдавать в Anytask!

• Домашнее задание 7. Дедлайн: 18:00 07.11.2018. Сдавать в Anytask!

• Домашнее задание 8. Дедлайн: 23:59 20.11.2018.

• Домашнее задание 9. Дедлайн: 18:00 11.12.18

• Домашнее задание 10 (опциональное). Дедлайн: 23:59 23.12.18

Полезные материалы

Книги:

• Barber D. Bayesian Reasoning and Machine Learning. Cambridge University Press, 2012.
• Murphy K.P. Machine Learning: A Probabilistic Perspective. The MIT Press, 2012.
• Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006.
• Mackay D.J.C. Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.
• Tipping M. Sparse Bayesian Learning. Journal of Machine Learning Research, 1, 2001, pp. 211-244.
• Шумский С.А. Байесова регуляризация обучения. В сб. Лекции по нейроинформатике, часть 2, 2002.

Простые и удобные заметки по матричным вычислениям и свойствам гауссовских распределений.

Памятка по теории вероятностей.