Начинает свою работу страница курса-факультатива "Методы машинного обучения".

В настоящем разделе размещена информация, затрагивающая литературу, ссылки, лекционный материал по тематике курса и примеры реализаций алгоритмов.

Место и время проведения 

Физический факультет (2-ой учебный корпус), к. 203, каждую неделю по понедельникам, с 16.00 до 17.35.

Темы лекционных занятий
  1. Введение и обзор материала курса. Линейная регрессия с одной переменной (презентация .pptx). Про автономный вертолет читаем здесь. Законченная реализация алгоритма линейной регрессии с одной и несколькими переменными из online курса Andrew Ng "Machine Learning" на www.coursera.org (ссылка). С оригинальным Стэнфордским курсом по машинному обучению Andrew Ng можно ознакомиться здесь или здесь. Неплохо написанную книжку по машинному обучению Stephen Marsland "Machine Learning: An Algorithmic Perspective" можно скачать здесь. Эта книга хорошо подходит для понимания базовых концепций в данной области. В ней есть примеры реализации алгоритмов машинного обучения на языке Python. Рекомендуется ознакомиться с книжкой написанной Александром Борисовичем Мерковым (к.т.н., сотрудник Института системного анализа РАН) "Введение в методы статистического обучения" (ссылка). Книга написана просто, доступно и дает хороший обзор современных методов распознавания. Также рекомендуется ознакомиться с отечественным профессиональным информационно-аналитическим ресурсом, который посвящен машинному обучению, распознаванию образов и интеллектуальному анализу данных (ссылка).
  2. Линейная регрессия со множеством переменных. Классификация. Логистическая регрессия (презентация .pptx). Законченная реализация алгоритма логистической регрессии с регуляризацией и без нее из online курса Andrew Ng "Machine Learning" на www.coursera.org (ссылка).
  3. Искусственные нейронные сети (представление) (презентация .pptx). Законченная реализация алгоритма логистической регрессии с регуляризацией и нейронной сети прямого распространения для решения задачи многоклассовой классификации на базе данных рукописных цифр MNIST из online курса Andrew Ng "Machine Learning" на www.coursera.org (ссылка). Обращаю внимание на то, что в предложенной реализации по умолчанию используется только 5000 тренировочных примеров (вместо изначальных 60000) из базы данных MNIST, а также на то, что тестирование рассматриваемых алгоритмов осуществляется на примерах, которые использовались на этапе обучения. Поэтому сравнить полученные результаты с уже имеющимися на аналогичной базе данных (ссылка) нельзя! Несколько баз данных для обучение, в том числе MNIST (в удобном, родном для Matlab формате mat) можно найти здесь. Интересно почитать следующую статью про сверточную нейронную сеть LeNet 5 (ссылка).
  4. Искусственные нейронные сети (обучение) (презентация .pptx). Законченная реализация алгоритма обучения нейронной сети прямого распространения для решения задачи многоклассовой классификации на базе данных рукописных цифр MNIST из online курса Andrew Ng "Machine Learning" на www.coursera.org (ссылка). Автономное вождение / проект ALVINN (видео позаимствовано из курса Andrew Ng "Machine Learning" на www.coursera.org).
  5. Рекомендации по применению алгоритмов машинного обучения. Построение систем машинного обучения. Оптическое распознавание символов. Данные, данные, данные ... (презентация .pptx). Пример законченного кода для самостоятельного исследования по регуляризованной линейной регрессии, а также таких понятий как смещение и дисперсия из курса Andrew Ng "Machine Learning" на www.coursera.org (ссылка).
  6. Детектирование лиц на основе алгоритма Виола / Джонса (презентация .pptx). Ссылка на статью Viola P., Jones M. Robust Real-time Object Detection // Int. J. Computer Vision. 2004. V. 57, №2. P. 137–154 (ссылка).
  7. Анализ главных компонент. Распознавание лиц (презентация .pptx). Ссылка на статью Turk M., Pentland А. Eigenfaces for Recognition // Journal of Cognitive neuroscience. 1991. V. 3, №1. P. 73–86 (ссылка). Ссылка на копию оригинальной статьи К. Пирсона 1901 г., в которой было предложено описание анализа главных компонент (ссылка). Пример законченного кода для самостоятельного исследования по анализу главных компонент, а также методу K-средних из курса Andrew Ng "Machine Learning" на www.coursera.org (ссылка). Дополнительно про анализ главных компонент и другие методы сокращения размерности можно почитать в книге Stephen Marsland "Machine Learning: An Algorithmic Perspective" (ссылка). Опционально, про применение анализа главных компонент в задаче шумоподавления на цифровых изображениях можно узнать из следующего источника (ссылка).
  8. Кластеризация (презентация .pptx). Пример законченного кода для самостоятельного исследования по методу K-средних, а также анализу главных компонент из курса Andrew Ng "Machine Learning" на www.coursera.org (ссылка).
  9. Детектирование аномалий (презентация .pptx).  Пример законченного кода для самостоятельного исследования по алгоритму детектирования аномалий, а также системам рекомендаций из курса Andrew Ng "Machine Learning" на www.coursera.org (ссылка). Пример реализации простого алгоритма детектирования номерных знаков, основанного на детектировании аномалий, в среде Matlab (ссылка).
  10. Машинное обучение на больших базах данных (презентация .pptx).
Темы для самостоятельного изучения

 В настоящем разделе приводятся темы для самостоятельного изучения из курса  Andrew Ng "Machine Learning" на www.coursera.org.
  1. Машины опорных векторов. Пример законченного кода для самостоятельного исследования по машинам опорных векторов из курса Andrew Ng "Machine Learning" на www.coursera.org (ссылка).
  2. Системы рекомендаций. Пример законченного кода для самостоятельного исследования по системам рекомендаций, а также алгоритму детектирования аномалий из курса Andrew Ng "Machine Learning" на www.coursera.org (ссылка).
Практические задания

Для всех желающих здесь будут выкладываться исходные практические задания из курса Andrew Ng "Machine Learning" на www.coursera.org, которые можно решать самостоятельно. Разбор решений будет производиться на лекциях, решенные задания будут последовательно выкладываться в разделе "Темы лекционных занятий".
  1. Линейная регрессия (ссылка).
  2. Логистическая регрессия (ссылка).
  3. Многоклассовая классификация и нейронные сети (ссылка).
  4. Обучение нейронных сетей (ссылка).
  5. Регуляризованная линейная регрессия. Смещение против дисперсии (ссылка).
  6. Машины опорных векторов (ссылка).
  7. Алгоритм кластеризации на основе К-средних. Анализ главных компонент (ссылка).
  8. Детектирование аномалий и системы рекомендаций (ссылка).
Дополнительные материалы
  1. Ng A. Machine Learning (CS 229), 2009. Stanford University (ссылка 1, ссылка 2).
  2. Ng A. Unsupervised Feature Learning and Deep Learning. Stanford University (ссылка 1, ссылка 2).
  3. Сайт посвященный новой области машинного обучения - глубокому обучению (Deep Learning). Глубокое обучение введено с целью смещения машинного обучения к одной из его первоначальных целей - искусственному интеллекту (Artificial Intelligence) (ссылка 1, ссылка 2).
  4. Воронцов К.В. Машинное обучение, 2012/2013. ШАД Яндекс (ссылка).
  5. Профессиональный информационно-аналитический ресурс, который затрагивает машинное обучение, а также распознавание образов и интеллектуальный анализ данных (ссылка).
  6. Szelicki R. Computer Vision: Algorithms and Applications. Springer, 2010 (ссылка).
  7. Сетевой журнал "Компьютерная графика и мультимедиа" (ссылка).
  8. Конушин A. Семантическая классификация изображений (видеолекции), 2010. Сomputer Science клуб при ПОМИ РАН (ссылка).
  9. Ерухимов В. Компьютерное зрение и библиотека OpenCV (видеолекции), 2011. Сomputer Science клуб при ПОМИ РАН (ссылка).
  10. Конушин А. Курсы "Введение в компьютерное зрение" и "Доп. главы компьютерного зрения" (видеолекции), 2011. Лаборатория компьютерной графики при ВМК МГУ (ссылка).
  11. Efros A. Learning-Based Methods in Vision (16-721), 2009. Carnegie Mellon University (ссылка).
  12. Kemelmacher I., Rao R., Seitz S., Shapiro L. Computer Vision (CSE 455), 2003 - 2010. University of Washington (ссылка).
  13. Lazebnik S. Computer Vision (COMP 776), 2008 - 2011. The University of North Carolina at Chapel Hill (ссылка).
  14. Thrun S. Computer Vision / Introduction to Computer Vision (CS 223b), 2004 - 2009. Stanford University (ссылка).
Online курсы

Информация по наиболее интересным online курсам приведена в первой презентации. Напоминаю, что с 2011 года ряд западных университетов начал практику создания online курсов (www.coursera.org, www.udacity.org) по различным дисциплинам. Например, "Искусственный интеллект", "Машинное обучение", "Компьютерное зрение" и т.д. Для ознакомления с материалами курсов (видеолекциями, практическими заданиями и т.д.) нужна регистрация!

Руководитель курса: ст. преп. каф. ДЭС Волохов В.А.