Самостоятельное обучение: что это такое и как оно работает

Опубликовано: 2024-07-18

Самоконтролируемое обучение, передовая технология искусственного интеллекта, позволяет машинам обнаруживать внутренние закономерности и структуры в данных, имитируя человеческую способность учиться на основе контекста и опыта, а не посредством явных инструкций.

Оглавление

  • Что такое самостоятельное обучение?
  • Самоконтроль по сравнению с другими типами машинного обучения
  • Как работает самостоятельное обучение
  • Виды самостоятельного обучения
  • Применение самостоятельного обучения
  • Преимущества самостоятельного обучения
  • Недостатки самостоятельного обучения

Что такое самостоятельное обучение?

Самоконтролируемое обучение — это тип машинного обучения (МО), который обучает модели создавать свои собственные метки — то есть явно парные входные и выходные данные — с использованием необработанных, неразмеченных данных. В отличие от обучения с учителем, для которого требуется значительный объем размеченных данных, обучение с самоконтролем генерирует псевдометки (искусственные метки) из самих данных. Этот метод придает модели целевую ориентацию и измеримость подхода обучения с учителем, а также способность обучения без учителя делать полезные выводы из огромных объемов немаркированных данных.

Машинное обучение — это разновидность искусственного интеллекта (ИИ), которая использует данные и статистические методы для создания моделей, имитирующих человеческие рассуждения, а не полагается на жестко закодированные инструкции. Самоконтролируемое обучение использует огромные объемы доступных неразмеченных данных, что делает его мощным подходом для улучшения производительности модели с минимальным вмешательством вручную. Фактически, сегодняшние основные генеративные модели текста и изображений ИИ в основном обучаются с использованием самоконтролируемого обучения.

Работайте умнее с Grammarly
Партнер по написанию ИИ для всех, у кого есть работа

Самоконтроль по сравнению с другими типами машинного обучения

Самоконтролируемое обучение сочетает в себе элементы как контролируемого, так и неконтролируемого обучения, но отличается от полуконтролируемого обучения:

  • Обучение под учителем .Использует размеченные данные для обучения моделей конкретным задачам, таким как классификация и регрессия. Метки предоставляют четкие указания, позволяющие модели делать точные прогнозы. Общие приложения включают обнаружение спама, классификацию изображений и прогноз погоды.
  • Обучение без учителя :работает с немаркированными данными для поиска закономерностей и группировок. Он идентифицирует кластеры и ассоциации и снижает сложность данных для упрощения обработки. Примеры включают сегментацию клиентов, системы рекомендаций и обнаружение аномалий.
  • Обучение с полуконтролем: используется небольшой объем размеченных данных для предоставления первоначального руководства, а затем используется одна или несколько более крупных коллекций неразмеченных данных для уточнения и улучшения модели.Этот подход особенно полезен, когда у вас есть помеченные данные, но было бы слишком сложно или дорого сгенерировать их достаточно для полностью контролируемого обучения.
  • Самостоятельное обучение: использует необработанные данные для создания собственных меток, что позволяет модели учиться на основе данных без каких-либо первоначальных помеченных данных.Этот подход особенно ценен, когда помеченные данные вообще недоступны или составляют лишь небольшую часть доступных данных, например, при обработке естественного языка (НЛП) или распознавании изображений.

Как работает самостоятельное обучение

Самоконтроль означает, что данные сами по себе дают правильные ответы. Процесс самостоятельного обучения включает в себя несколько этапов, сочетающих в себе аспекты как контролируемых, так и неконтролируемых методов:

Сбор данных: соберите большой объем необработанных, неразмеченных данных.Эти данные составляют основу для создания псевдометок и обучения модели. Многие наборы данных находятся в свободном доступе.

  1. Предварительная обработка: подготовьте данные для обеспечения качества.Этот шаг включает в себя удаление дубликатов, обработку пропущенных значений и нормализацию диапазонов данных.
  2. Создание задач: создавайте головоломки, которые должна решить модель, известные как предтекстовые задачи.Они создаются путем удаления или перетасовки частей данных, например удаления слов, удаления пикселей изображения или перетасовки видеокадров. Все, что существовало до этого преднамеренного искажения, известно как псевдометка: «правильный ответ», созданный на основе самих данных, а не на основе человеческой маркировки.
  3. Обучение. Обучите модель выполнению предтекстовых задач, используя сгенерированные псевдометки.Это означает, что модель пытается сгенерировать правильный ответ, сравнивает свой ответ с псевдометкой, корректирует и снова пытается сгенерировать правильный ответ. Этот этап помогает модели понять взаимосвязи внутри данных и в конечном итоге создает сложное понимание взаимосвязи между входными и выходными данными.
  4. Точная настройка: переключите модель на обучение на меньшем помеченном наборе данных, чтобы улучшить ее производительность при выполнении конкретных задач.Этот шаг гарантирует, что модель использует представления, полученные на начальном этапе обучения. Точная настройка не является строго необходимой, но обычно она приводит к лучшим результатам.
  5. Оценка: оцените производительность модели на данных, которые она еще не видела.Используя стандартные показатели, относящиеся к задаче, такие как оценка F1, эта оценка гарантирует, что модель хорошо обобщается на новые данные.
  6. Развертывание и мониторинг: разверните обученную модель в реальных приложениях и постоянно отслеживайте ее производительность.Обновите модель новыми данными по мере необходимости, чтобы сохранить ее точность и актуальность.

Виды самостоятельного обучения

Обучение с самоконтролем включает в себя различные типы, каждый из которых использует несколько методов и подходов. Здесь мы рассмотрим несколько типов, выделив их уникальные методы обучения и приведя один или два репрезентативных примера для каждого.

Для изображений

  • Самопрогнозирующее обучение. Самопрогнозирующее обучение включает в себя такие методы, как автокодирование, при котором модель учится сжимать информацию в более простую форму, а затем воссоздавать из нее исходные данные.При обработке изображений это часто означает выборочное повреждение частей изображения (например, путем маскировки участков) и обучение модели восстановлению оригинала. Это помогает модели лучше распознавать объекты в разных положениях, размерах и даже частично скрытых.
  • Контрастное обучение. При контрастном обучении модель учится различать похожие и разные изображения, сравнивая их в парах или группах.Например, метод SimCLR использует дополнения изображений (например, обрезку, искажение и переворачивание) для создания обучающих пар. Положительные пары создаются путем применения разных изменений к одному и тому же изображению, а отрицательные пары — из разных изображений. Затем модель узнает, какие функции являются общими в похожих парах и различны в разнородных парах.
  • Методы на основе кластеризации. Методы на основе кластеризации группируют схожие точки данных вместе и используют эти кластеры в качестве псевдометок для обучения.Например, DeepCluster кластеризует изображения по схожим признакам и использует эти кластеры для обучения модели. Процесс чередуется между кластеризацией и обучением, пока модель не будет работать хорошо. SwAV (обмен назначениями между видами) улучшает это за счет использования нескольких версий одного и того же изображения, чтобы помочь модели изучить основные функции, которые остаются постоянными, такие как края, текстуры и положения объектов.

Для текста

  • Самопрогнозирующее обучение. Это основной механизм обучения больших языковых моделей (LLM), которые понимают текст как серию токенов.Обычно они представляют одно слово, но иногда часть слова или группу слов.
    • Модели замаскированного языка (MLM): показаны предложения с отсутствующими некоторыми токенами и задачей предсказать пропущенные слова.Научившись заполнять эти пробелы, MLM развивают полное представление языковой структуры и контекста и могут учитывать контекст всего ввода при составлении прогнозов. Полезные результаты, такие как анализ настроений или распознавание именованных объектов, получаются посредством тонкой настройки. Ярким примером является BERT, который Google использует, чтобы понять цель поисковых запросов.
    • Причинные языковые модели (CLM): генеративные модели, такие как ChatGPT, Claude и Gemini, учатся воссоздавать текст, который они видели, предсказывая по одному слову за раз на основе предыдущих токенов.После обучения они рассматривают входной текст как контекст для своих прогнозов и продолжают делать прогнозы с каждым новым генерируемым токеном. Это последовательное предсказание является причиной того, почему их выходные данные печатаются сами по себе, а не появляются все сразу.
  • Контрастное обучение. Этот подход сравнивает пары образцов текста, подчеркивая различия и сходства между ними.SimCSE создает две немного разные версии одного и того же предложения, применяя отсев, который случайным образом игнорирует части представления предложения в скрытых слоях во время обучения (подробнее о скрытых слоях см. в нашей статье о глубоком обучении). Модель учится распознавать эти версии как похожие. Этот метод улучшает способность модели понимать и сравнивать предложения, что делает ее полезной для таких приложений, как поиск похожих предложений или получение релевантной информации для поисковых запросов.
  • Прогнозирование следующего предложения (NSP). Как следует из названия, NSP предполагает прогнозирование того, является ли данное предложение последующим предложением другого в документе, помогая моделям понять взаимосвязи между предложениями и логическим потоком текста.Он обычно используется вместе с MLM для улучшения понимания больших объемов текста. Например, в BERT NSP модель предсказывает, будут ли два предложения появляться последовательно в исходном тексте.

Применение самостоятельного обучения

Самообучение имеет широкий спектр применений в различных областях:

  • Обработка естественного языка. Такие модели, как BERT и GPT-3, используют самостоятельное обучение для понимания и создания человеческого языка в таких приложениях, как чат-боты, переводы и обобщение текста.
  • Компьютерное зрение. Самостоятельное обучение улучшает анализ изображений и видео за счет создания псевдометок на основе необработанных визуальных данных.Использование включает обнаружение объектов (например, на камере дверного звонка), распознавание лиц и автоматическое создание клипов из более длинных видео.
  • Распознавание речи: модели с самоконтролем улучшают системы распознавания речи, обучаясь на огромных объемах неразмеченных аудиоданных.Такой подход уменьшает необходимость ручной транскрипции и повышает точность при использовании разных акцентов и диалектов.
  • Здравоохранение. Самостоятельное обучение помогает улучшить анализ медицинских изображений, поиск лекарств и мониторинг пациентов за счет использования больших наборов данных с минимальным количеством размеченных примеров.Это повышает точность выявления заболеваний и рекомендаций по лечению, не требуя обширной и дорогостоящей экспертной маркировки людьми.
  • Робототехника. Роботы используют самообучение, чтобы понять окружающую среду и улучшить процессы принятия решений.Использование включает автономную навигацию, манипулирование объектами и взаимодействие человека и робота.

Преимущества самостоятельного обучения

  • Экономичность: снижается потребность в обширных размеченных данных, снижаются затраты на аннотации и человеческие усилия.
  • Масштабируемость: может обрабатывать большие наборы данных, что делает его подходящим для реальных приложений, где помеченных данных ограничено, но неразмеченных данных много.
  • Обобщение: при обучении на достаточном количестве необработанных данных модель может научиться достаточно для выполнения новых задач, даже если она не обучалась на непосредственно релевантных данных.Например, модель НЛП, основанная на одном языке, может быть использована для улучшения изучения модели, основанной на другом языке.
  • Гибкость: адаптируется к широкому спектру задач и областей, доступно множество подтипов для удовлетворения конкретных потребностей.

Недостатки самостоятельного обучения

  • Сложность: создание эффективных задач-предлогов и создание псевдометок требует тщательного проектирования и экспериментирования.
  • Чувствительность к шуму. Псевдометки, созданные на основе необработанных данных, могут не иметь отношения к цели и потенциально влиять на производительность, поскольку в модель поступает слишком много ненужных входных данных для обработки.
  • Вычислительные ресурсы. Обучение моделей с самоконтролем, особенно с большими наборами данных, требует значительных вычислительных мощностей и времени.