Обучение под присмотром: что это такое и как оно работает

В этом информативном руководстве вы узнаете, как контролируемое обучение используется во многих приложениях искусственного интеллекта, с которыми мы сталкиваемся ежедневно, от распознавания изображений до фильтрации спама.

Оглавление

• Что такое контролируемое обучение?
• Контролируемое и неконтролируемое обучение
• Как работает контролируемое обучение
• Виды контролируемого обучения
• Применение контролируемого обучения
• Преимущества контролируемого обучения
• Недостатки контролируемого обучения

Что такое контролируемое обучение?

Обучение с учителем — это тип машинного обучения (МО), который обучает модели, используя данные, помеченные правильным ответом. Термин«контролируемый»означает, что эти метки дают четкое руководство по взаимосвязи между входными и выходными данными. Этот процесс помогает модели делать точные прогнозы на основе новых, ранее неизвестных данных.

Машинное обучение — это разновидность искусственного интеллекта (ИИ), которая использует данные и статистические методы для создания моделей, имитирующих человеческие рассуждения, а не полагается на жестко закодированные инструкции. Обучение с учителем использует управляемый, основанный на данных подход к выявлению закономерностей и связей в маркированных наборах данных. Он экстраполирует свои оценки, чтобы предсказать результаты на основе новых, ранее неизвестных данных. Он учится, сравнивая свои прогнозы с известными метками и корректируя свою модель, чтобы минимизировать ошибки.

Контролируемое и неконтролируемое обучение

В отличие от обучения с учителем, в котором используются размеченные данные, обучение без учителя находит закономерности в неразмеченных данных.

Без «контроля», обеспечиваемого явными правильными ответами в обучающих данных, обучение без учителя рассматривает все, что оно видит, как данные для анализа на предмет закономерностей и группировок. Три основных типа:

• Кластеризация. Этот метод группирует точки данных, которые наиболее близки друг к другу.Это полезно для сегментации клиентов или сортировки документов.
• Ассоциация: определение того, когда что-то происходит одновременно, в первую очередь для совместного размещения предметов, которые часто покупаются вместе, или предложения того, что транслировать дальше.
• Уменьшение размерности: сокращение наборов данных для облегчения обработки при сохранении всех или большей части деталей.

С другой стороны, контролируемое обучение имеет смысл, когда вы хотите, чтобы модель принимала решения. Основные приложения включают в себя:

• Решения «да» или «нет»: маркировка данных как того или иного класса.Часто используется для фильтрации, например спама или обнаружения мошенничества.
• Классификация: определение того, к какому из нескольких классов принадлежит что-либо, например, идентификация объектов на изображении или распознавание речи.
• Регрессия: прогнозирование непрерывных значений на основе исторических данных, таких как прогноз цен на жилье или погодных условий.

Другие типы машинного обучения находятся между этими двумя: полуконтролируемое обучение, обучение с подкреплением и самоконтролируемое обучение.

Как работает контролируемое обучение

Обучение под учителем включает в себя структурированный процесс выбора и форматирования данных, запуск модели и тестирование ее производительности.

Вот краткий обзор контролируемого процесса обучения:

1 Маркировка. Маркированные данные необходимы для изучения правильной связи между входными и выходными данными.Например, если вы создаете модель для анализа настроений в обзорах продуктов, начните с того, что оценщики прочитают отзывы и пометят их как положительные, отрицательные или нейтральные.

2 Сбор и очистка данных. Убедитесь, что ваши данные обучения полны и репрезентативны.Очистите данные, удалив дубликаты, исправив ошибки и обработав недостающие значения, чтобы подготовить их к анализу.

3 Выбор и извлечение признаков. Определите и выберите наиболее влиятельные атрибуты, что сделает модель более эффективной и действенной.Этот шаг также может включать создание новых функций на основе существующих, чтобы лучше отражать основные закономерности в данных, например преобразование даты рождения в возраст.

4 Разделение данных. Разделите набор данных на обучающий и тестовый наборы.Используйте обучающий набор для обучения модели и тестовый набор, чтобы увидеть, насколько хорошо она обобщается на новые, невидимые данные.

5 Выбор алгоритма. Выберите алгоритм контролируемого обучения на основе характеристик задачи и данных.Вы также можете запустить и сравнить несколько алгоритмов, чтобы найти лучший.

6 Обучение модели. Обучите модель, используя данные, чтобы повысить точность ее прогнозирования.На этом этапе модель изучает взаимосвязь между входными и выходными данными путем итеративной минимизации ошибки между ее прогнозами и фактическими метками, представленными в обучающих данных. В зависимости от сложности алгоритма и размера набора данных это может занять от нескольких секунд до нескольких дней.

7 Оценка модели. Оценка эффективности модели гарантирует, что она дает надежные и точные прогнозы на основе новых данных.В этом ключевое отличие от обучения без учителя: поскольку вы знаете ожидаемый результат, вы можете оценить, насколько хорошо работает модель.

8 Настройка модели: корректируйте и переобучайте параметры модели для точной настройки производительности.Этот итеративный процесс, называемый настройкой гиперпараметров, направлен на оптимизацию модели и предотвращение таких проблем, как переобучение. Этот процесс следует повторять после каждой регулировки.

9. Развертывание и мониторинг. Разверните обученную модель, чтобы делать прогнозы на основе новых данных в реальных условиях.Например, разверните обученную модель обнаружения спама для фильтрации электронных писем, мониторинга ее производительности и корректировки по мере необходимости.

10. Точная настройка с течением времени. По мере того, как вы собираете больше реальных данных, продолжайте обучать модель, чтобы она стала более точной и актуальной.

Виды контролируемого обучения

Существует два основных типа контролируемого обучения: классификация и регрессия. Каждый тип имеет свои подтипы и конкретные варианты использования. Давайте рассмотрим их более подробно:

Классификация

Классификация включает в себя прогнозирование, к какой категории или классу принадлежит ввод. Для решения различных задач классификации используются различные подтипы и концепции. Вот несколько популярных типов:

• Бинарная классификация: модель предсказывает один из двух возможных классов.Это полезно, когда результат является двоичным, то есть существует только два возможных состояния или категории. Этот подход используется в решениях, где необходимо четкое разграничение.
• Многоклассовая классификация: аналогична двоичной, но с более чем двумя вариантами выбора, для которых есть только один правильный ответ. Этот подход используется, когда входные данные могут принадлежать нескольким категориям.
• Классификация по нескольким меткам: каждый вход может одновременно принадлежать нескольким классам. В отличие от двоичной классификации или классификации с несколькими классами, где каждый вход присваивается одному классу, классификация с несколькими метками позволяет назначать несколько меток одному входу. Это более сложный анализ, поскольку вместо того, чтобы просто выбирать класс, к которому с наибольшей вероятностью будут принадлежать входные данные, вам необходимо определить порог вероятности для включения.
• Логистическая регрессия: применение регрессии (см. ниже) к бинарной классификации. Этот подход может сказать вам о достоверности своего прогноза, а не просто о том или ином.

Существует несколько способов измерения качества модели классификации, в том числе:

• Точность: сколько из общего числа прогнозов оказались верными?
• Точность: сколько положительных моментов на самом деле являются положительными?
• Вспомните: сколько реальных положительных моментов было отмечено как положительные?
• Оценка F1: Насколько хорошо модель сочетает точность и полноту по шкале от 0% до 100%?

Регрессия

Регрессия включает в себя прогнозирование непрерывного значения на основе входных признаков и вывод числа, которое также можно назвать прогнозом. Различные типы регрессионных моделей используются для определения взаимосвязей между этими входными функциями и непрерывным выходным сигналом. Вот несколько популярных типов:

• Линейная регрессия: моделирует взаимосвязь между входными и выходными объектами в виде прямой линии.Модель предполагает линейную связь между зависимой переменной (выход) и независимыми переменными (входы). Цель состоит в том, чтобы найти наиболее подходящую линию через точки данных, которая минимизирует разницу между прогнозируемыми и фактическими значениями.
• Полиномиальная регрессия: более сложная, чем линейная регрессия, поскольку она использует полиномы, такие как квадраты и кубы, для выявления более сложных взаимосвязей между входными и выходными переменными. Модель может соответствовать нелинейным данным, используя эти члены более высокого порядка.
• Гребневая и лассо-регрессия: решает проблему переобучения, которая представляет собой тенденцию модели слишком много считывать данные, на которых она обучена, за счет обобщения. Гребневая регрессия снижает чувствительность модели к мелким деталям, а лассо-регрессия исключает из рассмотрения менее важные особенности.

Большинство измерений качества регрессии связаны с тем, насколько далеки прогнозы от фактических значений. Вопросы, на которые они отвечают:

• Средняя абсолютная ошибка: насколько в среднем прогнозы далеки от фактических значений?
• Среднеквадратическая ошибка: насколько ошибки возрастают, когда более крупные ошибки становятся более значимыми?
• Среднеквадратическая ошибка : Насколько большие ошибки приводят к отклонению прогнозов от фактических значений?
• R-квадрат: насколько хорошо регрессия соответствует данным?

Применение контролируемого обучения

Обучение под учителем имеет широкий спектр применений в различных отраслях. Вот несколько распространенных примеров:

• Обнаружение спама. Службы электронной почты используют двоичную классификацию, чтобы решить, должно ли электронное письмо попасть в ваш почтовый ящик или быть перенаправлено в спам.Они постоянно совершенствуются в ответ на то, что люди помечают электронные письма в папке «Спам» как не спам, и наоборот.
• Распознавание изображений: модели обучаются на помеченных изображениях распознавать и классифицировать объекты.Примеры включают функцию Apple Face ID, которая разблокирует ваш планшет или мобильное устройство, оптическое распознавание символов (OCR) для преобразования печатных слов в цифровой текст и обнаружение объектов для беспилотных автомобилей.
• Медицинский диагноз: контролируемые модели могут прогнозировать заболевания и предлагать потенциальные диагнозы, используя данные пациентов и медицинские записи.Например, модели можно научить распознавать раковые опухоли на МРТ или разрабатывать планы лечения диабета.
• Обнаружение мошенничества. Финансовые учреждения используют контролируемое обучение для выявления мошеннических транзакций путем анализа закономерностей в маркированных данных транзакций.
• Анализ настроений. Независимо от того, измеряете ли вы положительные или отрицательные реакции или эмоции, такие как счастье или отвращение, наборы данных, помеченные вручную, позволяют моделям интерпретировать входные данные, такие как сообщения в социальных сетях, обзоры продуктов или результаты опросов.
• Прогнозируемое обслуживание: на основе исторических данных о производительности и факторов окружающей среды модели могут предсказывать вероятность выхода машин из строя, чтобы их можно было отремонтировать или заменить до того, как это произойдет.

Преимущества контролируемого обучения

• Точный и предсказуемый.При условии, что им предоставлены хорошие данные, модели обучения с учителем, как правило, более точны, чем другие методы машинного обучения. Более простые модели обычно являются детерминированными, то есть заданные входные данные всегда будут давать один и тот же результат.
• Ясная цель. Благодаря контролю вы знаете, чего пытается достичь ваша модель. Это явный контраст с обучением без присмотра и самоконтролем.
• Легко оценить. В вашем распоряжении есть несколько показателей качества, позволяющих оценить точность моделей классификации и регрессии.
• Интерпретируемый. В контролируемых моделях используются такие методы, как регрессии и деревья решений, которые относительно просты для понимания учеными, работающими с данными. Интерпретируемость повышает уверенность лиц, принимающих решения, особенно в условиях высокого воздействия и регулируемых отраслях.

Недостатки контролируемого обучения

• Требуются помеченные данные.Ваши данные должны иметь четкие входные данные и метки. Это часто является проблемой при обучении классификации, поскольку многие тысячи (если не миллионы) людей заняты аннотированием данных вручную.
• Ошибки и непоследовательные суждения в данных обучения. Навешивание ярлыков людьми приводит к человеческим заблуждениям, таким как ошибки, опечатки и разные мнения. Последнее является особенно сложным аспектом анализа настроений; Для получения высококачественных данных обучения настроению обычно требуется, чтобы несколько человек оценили данную точку данных, а результат записался только в случае согласия.
• Переобучение. Часто модель дает расчеты, которые очень хорошо работают с обучающими данными, но плохо работают с данными, которых она еще не видела. Внимательный тренер всегда будет искать возможности переобучения и использовать методы, позволяющие уменьшить воздействие.
• Ограничено известными шаблонами. Если ваша модель прогнозирования цен на акции основана только на данных бычьего рынка, она не будет очень точной, когда наступит медвежий рынок. Соответственно, будьте внимательны к ограничениям данных, которые вы показали своей модели, и подумайте, стоит ли искать обучающие данные, которые подвергнут ее большему количеству обстоятельств, или просто игнорировать ее выходные данные.