Просто о некоторых способах машинного обучения (ML)

Трудно разобраться в большом количестве материала по теме. Особенно, если задача поставлена на уровне «быстренько разобраться что к чему, найти реализацию и использовать, не вникая в детали, о которых уже позаботились умные бородатые дяди». Задача статьи — систематизировать часто встречающуюся информацию и преподать её языком, понятным IT-шнику сходу. Сделать эдакую шпаргалку.

Машинное обучение — процесс, целью которого является достижение явно не заложенного поведения компьютера.

Виды ML

1. Дедуктивное (аналитическое) — выведение фактов и правил из заранее сформулированных и формализованных правил.
2. Индуктивное (статистическое) — построение правил на базе эмпирических данных.

Основные задачи ML

• группировка:
  • кластеризация — разделение объектов на группы по изначально неизвестным признакам;
  • классификация — разделение объектов на группы по заданным признакам;
• регрессионный анализ — нахождение зависимостей между изменяющимися данными:
  • линейная регрессия — линейная зависимость некой переменной от другой (других);
  • нелинейная регрессия — зависимость выражена нелинейной функцией (степенная, показательная, экспоненциальная и т. п.).

Нейронная сеть

Иногда задача такова, что очень трудно даже чётко сформулировать метод её решения, так как условий и зависимостей слишком много. Как раз в таких случаях часто берут нейросети, заменяя огромный сложный алгоритм на чёрный ящик, который можно настраивать, и эмпирическим путём приходят к приемлемому результату.

Перед тем как данные пойдут в нейросеть, их необходимо формализовать — перевести в понятный нейросети вид. Например, превратить картинку в одномерный массив, где каждый элемент соответствует пикселю и содержит информацию «закрашен/не закрашен». Благодаря абстрагированию от конкретных данных и переводу их в такой вид нейросеть можно обучить работать с самыми разными типами данных: графическими, текстовыми, звуковыми.

Элементы сети

1. Синапс удобно представить как объект, похожий на очередь (канал) и имеющий определённый приоритет. Он нужен для обмена информацией между нейронами.
2. Нейрон — объект, который принимает значения из синапса(ов), делает определённые вычисления и отдаёт их результат в синапс(ы) и/или аксон(ы).
3. Аксон — объект, похожий на синапс, но отличающийся тем, что в него можно только помещать данные из нейросети, забирает же их кто-то из вне (например, они просто выводятся пользователю).

Как это работает

Нейронная сеть — группа связанных нейронов. Каждый нейрон имеет маленькую долю ответственности — решает какую-то маленькую задачу, вынося вердикт — 1 или 0. Этих задач и, соответственно, нейронов может быть очень много. Из результатов их решения формируется конечный результат. Настраивается всё это изменением приоритетов синапсов, в результате чего агрегация промежуточных результатов происходит по-разному, и общий результат, соответственно, получается разный.

Настраивать сети можно несколькими способами:

• обучение с учителем — восстановление зависимости по данным вида «стимул -> реакция»;
• обучение без учителя — обнаружение зависимостей объектов по обучающей выборке;
• обучение с подкреплением — обучение с взаимодействием с некоторой средой;
• генетический алгоритм — случайный подбор и комбинирование параметров по аналогии с механизмом естественного отбора в природе.

Выбор метода зависит от задачи.

Некоторые виды нейросетей

• персептрон;
• однослойный;
• многослойный;
• рекуррентный;
• ассоциативная память;
• спайковые сети;
• сеть радиальных базисных функций;
• когнитрон.

Если нейронные сети не являются необходимыми для решения задачи, их лучше не использовать.

Деревья принятия решений

Дерево принятия решений представляет собой набор правил в иерархической, последовательной структуре, где каждому входному данному соответствует узел, дающий решение. Такие деревья бывают бинарными, что по сути — много вложенных if-ов.

Основная проблема деревьев принятия решений — сложность построения. Для этого существует ряд алгоритмов, например Classification and Regression Tree. Он используется для построения бинарного дерева и C4.5 для построения дерева с неограниченным числом потомков у узлов.

Преимущества:

• быстрое обучение;
• формулирование правил на естественном языке;
• простота и интуитивность классификационной модели;
• высокий уровень и предсказуемость точности прогноза;
• простота тестирования.

Недостатки:

• неоптимальность дерева из-за «жадности» большинства алгоритмов построения деревьев;
• сложность поддержки.

Бустинг (boosting)

Бустинг — это комбинирование недостаточно точных алгоритмов ML, чтобы каждый каким-то образом влиял на результат. Эксперименты показывают, что бустинг позволяет сильно сократить количество ошибок на независимой выборке по мере увеличения количества «плохих» алгоритмов.

Автор: Андрей Резцов, Clojure-разработчик Eastwood