Обучение под присмотром: что это такое и как оно работает

В этом информативном руководстве вы узнаете, как контролируемое обучение используется во многих приложениях искусственного интеллекта, с которыми мы сталкиваемся ежедневно, от распознавания изображений до фильтрации спама.

Оглавление

• Что такое контролируемое обучение?
• Контролируемое и неконтролируемое обучение
• Как работает контролируемое обучение
• Виды контролируемого обучения
• Применение контролируемого обучения
• Преимущества контролируемого обучения
• Недостатки контролируемого обучения

Что такое контролируемое обучение?

Обучение с учителем — это тип машинного обучения (МО), который обучает модели, используя данные, помеченные правильным ответом. Термин«контролируемый»означает, что эти метки дают четкое руководство по взаимосвязи между входными и выходными данными. Этот процесс помогает модели делать точные прогнозы на основе новых, ранее неизвестных данных.

Машинное обучение — это разновидность искусственного интеллекта (ИИ), которая использует данные и статистические методы для создания моделей, имитирующих человеческие рассуждения, а не полагается на жестко закодированные инструкции. Обучение с учителем использует управляемый, основанный на данных подход к выявлению закономерностей и связей в маркированных наборах данных. Он экстраполирует свои оценки, чтобы предсказать результаты на основе новых, ранее неизвестных данных. Он учится, сравнивая свои прогнозы с известными метками и корректируя свою модель, чтобы минимизировать ошибки.

Контролируемое и неконтролируемое обучение

В отличие от обучения с учителем, в котором используются размеченные данные, обучение без учителя находит закономерности в неразмеченных данных.

Без «контроля», обеспечиваемого явными правильными ответами в обучающих данных, обучение без учителя рассматривает все, что оно видит, как данные для анализа на предмет закономерностей и группировок. Три основных типа:

• Кластеризация.Этот метод группирует точки данных, которые наиболее близки друг к другу. Это полезно для сегментации клиентов или сортировки документов.
• Ассоциация: определение того, когда что-то происходит одновременно, в первую очередь для совместного размещения предметов, которые часто покупаются вместе, или предложения того, что транслировать дальше.
• Уменьшение размерности: сокращение наборов данных для облегчения обработки при сохранении всех или большей части деталей.

С другой стороны, контролируемое обучение имеет смысл, когда вы хотите, чтобы модель принимала решения. Основные приложения включают в себя:

• Решения «да» или «нет»:маркировка данных как того или иного класса. Часто используется для фильтрации, например спама или обнаружения мошенничества.
• Классификация: определение того, к какому из нескольких классов принадлежит что-либо, например, идентификация объектов на изображении или распознавание речи.
• Регрессия: прогнозирование непрерывных значений на основе исторических данных, таких как прогноз цен на жилье или погодных условий.

Другие типы машинного обучения находятся между этими двумя: полуконтролируемое обучение, обучение с подкреплением и самоконтролируемое обучение.

Как работает контролируемое обучение

Обучение под учителем включает в себя структурированный процесс выбора и форматирования данных, запуск модели и тестирование ее производительности.

Вот краткий обзор контролируемого процесса обучения:

1 Маркировка.Маркированные данные необходимы для изучения правильной связи между входными и выходными данными. Например, если вы создаете модель для анализа настроений в обзорах продуктов, начните с того, что оценщики прочитают отзывы и пометят их как положительные, отрицательные или нейтральные.

2 Сбор и очистка данных.Убедитесь, что ваши данные обучения полны и репрезентативны. Очистите данные, удалив дубликаты, исправив ошибки и обработав недостающие значения, чтобы подготовить их к анализу.

3 Выбор и извлечение признаков.Определите и выберите наиболее влиятельные атрибуты, что сделает модель более эффективной и действенной. Этот шаг также может включать создание новых функций на основе существующих, чтобы лучше отражать основные закономерности в данных, например преобразование даты рождения в возраст.

4 Разделение данных.Разделите набор данных на обучающий и тестовый наборы. Используйте обучающий набор для обучения модели и тестовый набор, чтобы увидеть, насколько хорошо она обобщается на новые, невидимые данные.

5 Выбор алгоритма.Выберите алгоритм контролируемого обучения на основе характеристик задачи и данных. Вы также можете запустить и сравнить несколько алгоритмов, чтобы найти лучший.

6 Обучение модели.Обучите модель, используя данные, чтобы повысить точность ее прогнозирования. На этом этапе модель изучает взаимосвязь между входными и выходными данными путем итеративной минимизации ошибки между ее прогнозами и фактическими метками, представленными в обучающих данных. В зависимости от сложности алгоритма и размера набора данных это может занять от нескольких секунд до нескольких дней.

7 Оценка модели.Оценка эффективности модели гарантирует, что она дает надежные и точные прогнозы на основе новых данных. В этом ключевое отличие от обучения без учителя: поскольку вы знаете ожидаемый результат, вы можете оценить, насколько хорошо работает модель.

8 Настройка модели:корректируйте и переобучайте параметры модели для точной настройки производительности. Этот итеративный процесс, называемый настройкой гиперпараметров, направлен на оптимизацию модели и предотвращение таких проблем, как переобучение. Этот процесс следует повторять после каждой регулировки.

9. Развертывание и мониторинг.Разверните обученную модель, чтобы делать прогнозы на основе новых данных в реальных условиях. Например, разверните обученную модель обнаружения спама для фильтрации электронных писем, мониторинга ее производительности и корректировки по мере необходимости.

10. Точная настройка с течением времени.По мере того, как вы собираете больше реальных данных, продолжайте обучать модель, чтобы она стала более точной и актуальной.

Виды контролируемого обучения

Существует два основных типа контролируемого обучения: классификация и регрессия. Каждый тип имеет свои подтипы и конкретные варианты использования. Давайте рассмотрим их более подробно:

Классификация

Классификация включает в себя прогнозирование, к какой категории или классу принадлежит ввод. Для решения различных задач классификации используются различные подтипы и концепции. Вот несколько популярных типов:

• Бинарная классификация:модель предсказывает один из двух возможных классов. Это полезно, когда результат является двоичным, то есть существует только два возможных состояния или категории. Этот подход используется в решениях, где необходимо четкое разграничение.
• Многоклассовая классификация: аналогична двоичной, но с более чем двумя вариантами выбора, для которых есть только один правильный ответ. Этот подход используется, когда входные данные могут принадлежать нескольким категориям.
• Классификация по нескольким меткам: каждый вход может одновременно принадлежать нескольким классам. В отличие от двоичной классификации или классификации с несколькими классами, где каждый вход присваивается одному классу, классификация с несколькими метками позволяет назначать несколько меток одному входу. Это более сложный анализ, поскольку вместо того, чтобы просто выбирать класс, к которому с наибольшей вероятностью будут принадлежать входные данные, вам необходимо определить порог вероятности для включения.
• Логистическая регрессия: применение регрессии (см. ниже) к бинарной классификации. Этот подход может сказать вам о достоверности своего прогноза, а не просто о том или ином.

Существует несколько способов измерения качества модели классификации, в том числе:

• Точность:сколько из общего числа предсказаний оказались верными?
• Точность:сколько положительных моментов на самом деле являются положительными?
• Вспомните:сколько реальных положительных моментов было отмечено как положительные?
• Оценка F1:Насколько хорошо модель сочетает точность и полноту по шкале от 0% до 100%?

Регрессия

Регрессия включает в себя прогнозирование непрерывного значения на основе входных признаков и вывод числа, которое также можно назвать прогнозом. Различные типы регрессионных моделей используются для определения взаимосвязей между этими входными функциями и непрерывным выходным сигналом. Вот несколько популярных типов:

• Линейная регрессия:моделирует взаимосвязь между входными и выходными объектами в виде прямой линии. Модель предполагает линейную связь между зависимой переменной (выход) и независимыми переменными (входы). Цель состоит в том, чтобы найти наиболее подходящую линию через точки данных, которая минимизирует разницу между прогнозируемыми и фактическими значениями.
• Полиномиальная регрессия: более сложная, чем линейная регрессия, поскольку она использует полиномы, такие как квадраты и кубы, для выявления более сложных взаимосвязей между входными и выходными переменными. Модель может соответствовать нелинейным данным, используя эти члены более высокого порядка.
• Гребневая и лассо-регрессия: решает проблему переоснащения, которая представляет собой тенденцию модели слишком много считывать данные, на которых она обучена, за счет обобщения. Гребневая регрессия снижает чувствительность модели к мелким деталям, а лассо-регрессия исключает из рассмотрения менее важные особенности.

Большинство измерений качества регрессии связаны с тем, насколько далеки прогнозы от фактических значений. Вопросы, на которые они отвечают:

• Средняя абсолютная ошибка:насколько в среднем прогнозы далеки от фактических значений?
• Среднеквадратическая ошибка:насколько ошибки возрастают, когда более крупные ошибки становятся более значимыми?
• Среднеквадратическая ошибка: насколько большие ошибки приводят к отклонению прогнозов от фактических значений?
• R-квадрат: насколько хорошо регрессия соответствует данным?

Применение контролируемого обучения

Обучение под учителем имеет широкий спектр применений в различных отраслях. Вот несколько распространенных примеров:

• Обнаружение спама.Службы электронной почты используют двоичную классификацию, чтобы решить, должно ли электронное письмо попасть в ваш почтовый ящик или быть перенаправлено в спам. Они постоянно совершенствуются в ответ на то, что люди помечают электронные письма в папке «Спам» как не спам, и наоборот.
• Распознавание изображений:модели обучаются на помеченных изображениях распознавать и классифицировать объекты. Примеры включают функцию Apple Face ID, которая разблокирует ваш планшет или мобильное устройство, оптическое распознавание символов (OCR) для преобразования печатных слов в цифровой текст и обнаружение объектов для беспилотных автомобилей.
• Медицинский диагноз:контролируемые модели могут прогнозировать заболевания и предлагать потенциальные диагнозы, используя данные пациентов и медицинские записи. Например, модели можно научить распознавать раковые опухоли на МРТ или разрабатывать планы лечения диабета.
• Обнаружение мошенничества.Финансовые учреждения используют контролируемое обучение для выявления мошеннических транзакций путем анализа закономерностей в помеченных данных транзакций.
• Анализ настроений.Независимо от того, измеряете ли вы положительные или отрицательные реакции или эмоции, такие как счастье или отвращение, наборы данных, помеченные вручную, позволяют моделям интерпретировать вводимые данные, такие как сообщения в социальных сетях, обзоры продуктов или результаты опросов.
• Прогнозируемое обслуживание:на основе исторических данных о производительности и факторов окружающей среды модели могут предсказывать вероятность выхода машин из строя, чтобы их можно было отремонтировать или заменить до того, как это произойдет.

Преимущества контролируемого обучения

• Точный и предсказуемый.При условии, что им предоставлены хорошие данные, модели обучения с учителем, как правило, более точны, чем другие методы машинного обучения. Более простые модели обычно являются детерминированными, то есть заданные входные данные всегда будут давать один и тот же результат.
• Ясная цель. Благодаря контролю вы знаете, чего пытается достичь ваша модель. Это явный контраст с обучением без присмотра и самоконтролем.
• Легко оценить. В вашем распоряжении есть несколько показателей качества, позволяющих оценить точность моделей классификации и регрессии.
• Интерпретируемый. В контролируемых моделях используются такие методы, как регрессии и деревья решений, которые относительно просты для понимания учеными, работающими с данными. Интерпретируемость повышает уверенность лиц, принимающих решения, особенно в условиях высокого воздействия и регулируемых отраслях.

Недостатки контролируемого обучения

• Требуются помеченные данные.Ваши данные должны иметь четкие входные данные и метки. Это часто является проблемой при обучении классификации, поскольку многие тысячи (если не миллионы) людей заняты аннотированием данных вручную.
• Ошибки и непоследовательные суждения в данных обучения. Навешивание ярлыков людьми приводит к человеческим заблуждениям, таким как ошибки, опечатки и разные мнения. Последнее является особенно сложным аспектом анализа настроений; Для получения высококачественных данных обучения настроению обычно требуется, чтобы несколько человек оценили данную точку данных, а результат записался только в случае согласия.
• Переобучение. Часто модель дает расчеты, которые очень хорошо работают с обучающими данными, но плохо работают с данными, которых она еще не видела. Внимательный тренер всегда будет искать возможности переобучения и использовать методы, позволяющие уменьшить воздействие.
• Ограничено известными шаблонами. Если ваша модель прогнозирования цен на акции основана только на данных бычьего рынка, она не будет очень точной, когда наступит медвежий рынок. Соответственно, будьте внимательны к ограничениям данных, которые вы показали своей модели, и подумайте, стоит ли искать обучающие данные, которые подвергнут ее большему количеству обстоятельств, или просто игнорировать ее выходные данные.