Курс Машинное обучение, ФТиАД 2018

Где и когда

Занятия проходят по субботам, 12:10 - 15:00, ауд. 311.

Ссылки

Канал в telegram для объявлений: https://t.me/joinchat/AAAAAFDWMYIkKSfGPEb_4w

Anytask курса: https://anytask.org/course/390 (инвайт Kw4G1Bf). Все практические задания нужно сдавать в Anytask (загрузить в соответствующую задачу).

Таблица с оценками

Правила выставления оценок

В курсе предусмотрено несколько форм контроля знания:

• Самостоятельные работы на семинарах, проверяющие знание основных фактов с лекций
• Домашние работы (на Python и теоретические)
• Контрольная работа
• Письменный экзамен

Итоговая оценка вычисляется на основе оценки за работу в семестре и оценки за экзамен:

O_{итоговая} = 0.7 * O_{накопленная} + 0.3 * О_экз

Оценка за работу в семестре вычисляется по формуле

O_{накопленная} = 0.2 * O_{самостоятельные} + 0.6 * О_{домашние задания} + 0.2 * О_{контрольная}

Оценка за самостоятельную работу вычисляется как среднее по всем самостоятельным, оценка за домашнюю работу — как среднее по всем домашним заданиям.

Накопленная, экзаменационная и итоговая оценки округляются арифметически.

Правила сдачи домашних заданий

Дедлайн по теоретическим заданиям — начало следующего занятия (жесткий).

Дедлайн по практическим заданиям — 02:00 следующей пятницы (мягкий), 23:59 воскресенья (жесткий).

За каждый день просрочки после мягкого дедлайна снимается 2 балла. После жёсткого дедлайна работы не принимаются. Два раза за курс жесткий дедлайн можно просрочить.

Некоторые практические задания нужно не только загрузить в Anytask, но и предварительно сдать в Яндекс контест. В этом случае в контесте вы будете видеть результаты проверки своих функций. Предварительно на контесте нужно зарегистрироваться. Чтобы ваши решения было возможно идентифицировать, обязательно указывайте в решении ссылку на вашу финальную посылку в Яндекс контест.

При обнаружении плагиата оценки за домашнее задание обнуляются всем задействованным в списывании студентам, а также подаётся докладная записка в деканат. Следует помнить, что при повторном списывании деканат имеет право отчислить студента.

При наличии уважительной причины пропущенную проверочную можно написать позднее, а дедлайн по домашнему заданию может быть перенесён (при этом получить дополнительные баллы за призовые места на конкурсе можно только при участии в общий срок). Дедлайн по домашнему заданию переносится на количество дней, равное продолжительности уважительной причины. Решение о том, является ли причина уважительной, принимает исключительно учебный офис.

Контрольная работа

Контрольная работа будет проводиться 3 ноября в 12:10 вместо лекции в ауд.311. Длительность контрольной работы - 1 час 20 минут. Второй пары в этот день не будет.

Вопросы к контрольной работе

Контрольная работа будет включать в себя два теоретических вопроса, составленных из вопросов в списке, а также две задачи.

Экзамен

Вопросы к экзамену

Письменный экзамен будет включать в себя два теоретических вопроса, составленных из вопросов в списке, а также две задачи. Длительность экзамена - 1 час 20 минут.

Материалы занятий

1. Введение в машинное обучение. Основы языка python

• Презентация по введению (по материалам Е. Соколова)
• Ноутбук по python (ссылки на материалы в конце ноутбука)
• Конспект по введению

2. Библиотеки numpy и pandas

• Ноутбук с семинара
• Advanced problems
• Материалы по numpy:
  • Ноутбук с прошлогоднего семинара: numpy, pandas, matplotlib MUSTREAD
  • Англоязычный подробный туториал по numpy
  • Вводный ноутбук - более подробно основы
• Материалы по pandas:
  • Официальная документация pandas - подробнейшие туториалы на английском
  • Подробный ноутбук-туториал про pandas с майнора

3. Градиентные методы оптимизации. Линейная регрессия

• Конспект лекции
• Конспект семинара
• Ipynb по предобработке данных
• Базовый туториал по sklearn в офиц. документации
• Дополнительно: Материалы по матричному дифференцированию

4. Фнукции потерь в регрессии. Регуляризация в линейной регрессии

• Конспект по функциям потерь 1 (вторая часть)
• Конспект по функциям потерь 2
• Конспект по регуляризации

5. Вероятностный подход к машинному обучению. Линейная классификация

• Конспект по вероятностному подходу
• Конспект по линейной классификации (до метрик)
• Конспект по оцениванию вероятностей и логистической регрессии

6. Линейная классификация (продолжение). Метрики качества классификации

• Конспект по SVM
• Конспект по метрикам качества
• Конспект по построению ROC кривой + задачи на ROC кривую
• Конспект по многоклассовой классификации
• Ноутбук с визуализацией кривых

7. Решающие деревья

• Конспект лекции
• Конспект с задачами на критерии информативности

8. Метрические методы

• Конспект лекции
• Более подробно про Locality Sensitive Hashing
• Презентация с описание метода отбора объектов STOLP (слайды 15-19)
• Презентация про применение 1NN в базах данных

9. Композиции

• Конспект про бэггинг и случайный лес (пропустите часть про bias-variance decomposition)
• Конспект про градиентный бустинг
• Конспект с задачами на градиентный бустинг
• Ноутбук с демонстрациями

10. Композиции (окончание темы). Разложение ошибки на смещение и разброс

• Конспект про стекинг и блендинг
• Конспект про разложение ошибки на смещение и разброс
• Задачи по разложению на смещение и разброс

11. Обучение без учителя: кластеризация, понижение размерности, визуализация.

• Конспект про кластеризацию и визуализацию
• Конспект про понижение размерности (с выводом PCA), друго конспект

12. Генерация и отбор признаков

• Конспект
• Презентация

Задания

• Домашнее задание 1: python. Дедлайн: мягкий 02:00 15.09.18, жесткий 23:59 16.09.18
• Домашнее задание 2: numpy, pandas Деллайн: мягкий 02:00 22.09.18, жесткий 23:59 23.09.18
• Домашнее задание 3: векторное дифференцирование Деллайн: 12:10 29.09.12 (сдавать на листочке на занятии 29 сент)
• Домашнее задание 4: линейная регрессия. Данные. Яндекс контест. Альтернативная ссылка на Яндекс контест В Anytask: задача linreg. Дедлайн: мягкий 02:00 06.10.18, жесткий 23:59 07.10.18
• Домашнее задание 5: вероятностный подход Деллайн: 12:10 13.10.12 (сдавать на листочке на занятии 13 октября)
• Домашнее задание 6 (опциональное) Дедлайн: мягкий 02:00 20.10.18, жесткий 23:59 21.10.18. Все баллы добавляются как бонусные к баллам за домашнюю работу.
• Домашнее задание 7: решающие деревья Дедлайн: мягкий 23:59 04.11.2018, жесткий 09.11.2018 (-1 балл/день).
• Домашнее задание 8: классификация цифр и смс-сообщений Дедлайн: мягкий 23:59 20.11.2018, жесткий: 23:59 22.11.2018
• Домашнее задание 9: настройка композиций алгоритмов Дедлайн: 02:00 15.12.2018 (жесткий)
• Домашнее задание 10: разложение ошибки на смещение и разброс Дедлайн: жесткий 03:00 17.12.18

Полезные материалы

Книги:

• Hastie T., Tibshirani R, Friedman J. The Elements of Statistical Learning (2nd edition). Springer, 2009.
• Bishop C. M. Pattern Recognition and Machine Learning. Springer, 2006.
• Mohri M., Rostamizadeh A., Talwalkar A. Foundations of Machine Learning. MIT Press, 2012.
• Murphy K. Machine Learning: A Probabilistic Perspective. MIT Press, 2012.
• Mohammed J. Zaki, Wagner Meira Jr. Data Mining and Analysis. Fundamental Concepts and Algorithms. Cambridge University Press, 2014.
• Willi Richert, Luis Pedro Coelho. Building Machine Learning Systems with Python. Packt Publishing, 2013.

Курсы по машинному обучению и анализу данных:

• Курс по машинному обучению К.В. Воронцова
• Видеозаписи лекций курса Школы Анализа Данных, К.В. Воронцов
• Coursera: Машинное обучение и анализ данных (специализация)
• Coursera: Введение в машинное обучение, К.В. Воронцов