Оценка F1 в машинном обучении: как вычислять, применять и использовать его эффективно

Оценка F1 является мощной метрикой для оценки моделей машинного обучения (ML), предназначенных для выполнения бинарной или многоклассной классификации. Эта статья объяснит, какова оценка F1, почему это важно, как она рассчитывается, и ее приложения, преимущества и ограничения.

Оглавление

• Что такое оценка F1?
• Как рассчитать оценку F1
• Оценка F1 против точности
• Применение балла F1
• Преимущества оценки F1
• Ограничения оценки F1

Что такое оценка F1?

Практикующие ML сталкиваются с общей проблемой при создании моделей классификации: обучение модели ловит все случаи, избегая ложных тревог. Это особенно важно в критических приложениях, таких как обнаружение финансового мошенничества и медицинский диагноз, где ложные тревоги и отсутствие важных классификаций имеют серьезные последствия. Достижение правильного баланса особенно важно при работе с несбалансированными наборами данных, где такая категория, как мошеннические транзакции, намного реже, чем другая категория (законные транзакции).

Точность и отзыв

Чтобы измерить качество производительности модели, оценка F1 сочетает в себе два связанных показателей:

• Точность, какой отвечает: «Когда модель предсказывает положительный случай, как часто это правильно?»
• Напомним, какие ответы: «Из всех фактических положительных случаев, сколько модель правильно идентифицировала?»

Модель с высокой точностью, но низким отзывами чрезмерно осторожна, отсутствует много истинных положительных результатов, в то время как один с высоким отзывами, но низкая точность чрезмерно агрессивен, генерируя много ложных срабатываний. Оценка F1 достигает баланса, принимая гармоническую среднюю точность и отзыв, что придает больший вес для более низких значений и гарантирует, что модель хорошо работает на обеих показателях, а не превосходно только в одном.

Пример точности и отзыва

Чтобы лучше понять точность и отзыв, рассмотрите систему обнаружения спама. Если система имеет высокую скорость правильного помещения электронных писем как спама, это означает, что она имеет высокую точность. Например, если система помечает 100 электронных писем как спам, и 90 из них на самом деле являются спамом, точность составляет 90%. Высокий отзыв, с другой стороны, означает, что система улавливает большинство фактических спам -писем. Например, если существует 200 фактических спам -писем, и наша система улавливает 90 из них, отзыв составляет 45%.

Варианты оценки F1

В систем или сценариях классификации мультиклассных классификаций с конкретными потребностями оценка F1 может быть рассчитана по -разному, в зависимости от того, какие факторы важны:

• Macro-F1:вычисляет оценку F1 отдельно для каждого класса и принимает среднее значение
• Micro-F1:вычисляет отзыв и точность по всем прогнозам
• Взвешенный-F1: аналогично Macro-F1, но классы взвешены на основе частоты

За пределами оценки F1: семья F-оценки

Оценка F1 является частью более крупного семейства метрик, называемых F-показателями. Эти оценки предлагают различные способы для точного веса и воспоминания:

• F2:больше внимания уделяется отзыву, что полезно, когда ложные негативы дорогостоящие
• F0.5:больше внимания уделяется точности, что полезно, когда ложные срабатывания дорогостоящие

Как рассчитать оценку F1

Оценка F1 математически определяется как гармоническое среднее значение точности и отзыва. Хотя это может показаться сложным, процесс расчета прост, когда разбивается на четкие шаги.

Формула для оценки F1:

Прежде чем погрузиться в шаги для расчета F1, важно понять ключевые компоненты так называемойматрицы путаницы, которая используется для организации результатов классификации:

• Истинные позитивы (TP):количество случаев, правильно идентифицированных как положительные
• Ложные срабатывания (FP):количество случаев неверно идентифицированных как положительные
• Ложные негативы (FN):количество пропущенных случаев (фактические позитивы, которые не были идентифицированы)

Общий процесс включает в себя обучение модели, тестирование прогнозов и организацию результатов, расчет точности и воспоминания, а также вычисление показателя F1.

Шаг 1: Обучить классификационную модель

Во -первых, модель должна быть обучена для создания бинарных или многоклассных классификаций. Это означает, что модель должна иметь возможность классифицировать случаи как принадлежащие к одной из двух категорий. Примеры включают «спам/не спам» и «мошенничество/не мошенничество».

Шаг 2: Прогнозы тестирования и организуйте результаты

Затем используйте модель для выполнения классификаций в отдельном наборе данных, который не использовался в рамках обучения. Организовать результаты в матрицу путаницы. Эта матрица показывает:

• TP: Сколько предсказаний было на самом деле правильным
• FP: Сколько положительных прогнозов было неверным
• FN: Сколько положительных случаев было пропущено

Матрица путаницы дает обзор того, как работает модель.

Шаг 3: Рассчитайте точность

Используя матрицу путаницы, точность рассчитывается с помощью этой формулы:

Например, если модель обнаружения спама правильно идентифицировала 90 спам -писем (TP), но неправильно помечала 10 писем Nonspam (FP), точность составляет 0,90.

Шаг 4: Рассчитайте отзыв

Далее, рассчитайте отзыв, используя формулу:

Используя пример обнаружения спама, если было 200 писем общего спама, и модель поймала 90 из них (TP) при отсутствии 110 (FN), отзыв составляет 0,45.

Шаг 5: Рассчитайте оценку F1

Со значениями точности и отзыва в руке можно рассчитать оценку F1.

Оценка F1 колеблется от 0 до 1. При интерпретации оценки рассмотрите эти общие тесты:

• 0,9 или выше:модель работает отлично, но должна быть проверена на переосмысление.
• От 0,7 до 0,9:хорошая производительность для большинства приложений
• От 0,5 до 0,7:производительность в порядке, но модель может использовать улучшение.
• 0,5 или меньше:модель работает плохо и нуждается в серьезном улучшении.

Используя пример примера обнаружения спама для точности и отзыва, оценка F1 составит 0,60 или 60%.

В этом случае оценка F1 указывает на то, что, даже при высокой точке, нижний отзыв влияет на общую производительность. Это говорит о том, что есть место для улучшения в ловке больше спам -писем.

Оценка F1 против точности

В то время как F1 иточностиопределяют производительность модели, оценка F1 обеспечивает более детальную меру. Точность просто рассчитывает процент правильных прогнозов. Тем не менее, просто полагаться на точность для измерения производительности модели может быть проблематичным, когда количество экземпляров одной категории в наборе данных значительно превосходит другую категорию. Эта проблема называетсяпарадоксом точности.

Чтобы понять эту проблему, рассмотрите пример системы обнаружения спама. Предположим, что система электронной почты получает 1000 электронных писем каждый день, но только 10 из них на самом деле являются спамом. Если обнаружение спама просто классифицирует каждое электронное письмо как спам, он все равно достигнет 99% точности. Это связано с тем, что 990 прогнозов из 1000 были правильными, хотя модель на самом деле бесполезна, когда дело доходит до обнаружения спама. Очевидно, что точность не дает точной картины качества модели.

Оценка F1 позволяет избежать этой проблемы, объединяя измерения точности и отзыва. Следовательно, F1 следует использовать вместо точности в следующих случаях:

• Набор данных несбалансирован.Это распространено в таких областях, как диагностика неясных заболеваний или обнаружения спама, где одна категория является относительно редкой.
• FN и FP оба важны.Например, медицинские проверки стремятся сбалансировать улов, выявляя фактические проблемы с не поднимая ложную тревогу.
• Модель должна найти баланс между слишком агрессивным и слишком осторожным.Например, в спам -фильтрации чрезмерно осторожный фильтр может пропустить слишком много спама (низкий отзыв), но редко делают ошибки (высокая точность). С другой стороны, чрезмерно агрессивный фильтр может блокировать реальные электронные письма (низкая точность), даже если он действительно поймает весь спам (высокий отзыв).

Применение балла F1

Оценка F1 имеет широкий спектр приложений в различных отраслях, где сбалансированная классификация имеет решающее значение. Эти приложения включают обнаружение финансового мошенничества, медицинскую диагностику и модерацию контента.

Обнаружение финансового мошенничества

Модели, предназначенные для обнаружения финансового мошенничества, представляют собой категорию систем, хорошо подходящих для измерения, используя оценку F1. Финансовые фирмы часто обрабатывают миллионы или миллиарды транзакций в день, причем фактические случаи мошенничества были относительно редкими. По этой причине система обнаружения мошенничества должна поймать как можно больше мошеннических транзакций, одновременно минимизируя количество ложных тревог и вызывая неудобства для клиентов. Измерение балла F1 может помочь финансовым учреждениям определить, насколько хорошо их системы уравновешивают двойные столбы предотвращения мошенничества и хорошее качество обслуживания клиентов.

Медицинский диагноз

В медицинской диагностике и тестировании FN и FP имеют серьезные последствия. Рассмотрим пример модели, предназначенной для обнаружения редких форм рака. Неверная диагностика здорового пациента может привести к ненужному стрессу и лечению, в то время как отсутствие фактического случая рака будет иметь ужасные последствия для пациента. Другими словами, модель должна иметь как высокую точность, так и высокий отзыв, что может измерить оценку F1.

Модерация контента

Модерирование контента является общей проблемой на онлайн -форумах, платформах социальных сетей и онлайн -маршрутах. Чтобы обеспечить безопасность платформы без переценка, эти системы должны сбалансировать точность и отзыв. Оценка F1 может помочь платформам определить, насколько хорошо их система уравновешивает эти два фактора.

Преимущества оценки F1

В дополнение к тому, чтобы в целом обеспечивает более нюансированное представление о производительности модели, чем точность, оценка F1 обеспечивает несколько ключевых преимуществ при оценке производительности модели классификации. Эти преимущества включают в себя более быстрое модельное обучение и оптимизацию, снижение затрат на обучение и рано поддерживать переосмысление.

Более быстрое обучение и оптимизация модели

Оценка F1 может помочь ускорить обучение модели, предоставляя четкую эталонную метрику, которая может использоваться для определения оптимизации. Вместо того, чтобы настраивать отзыв и точность отдельно, что обычно включает в себя сложные компромиссы, практикующие ML могут сосредоточиться на увеличении показателя F1. С помощью этого оптимизированного подхода можно быстро идентифицировать оптимальные параметры модели.

Снижение затрат на обучение

Оценка F1 может помочь практикующим ML принять обоснованные решения о том, когда модель готова к развертыванию, предоставляя нюансированную, единственную меру производительности модели. С помощью этой информации практикующие могут избежать ненужных учебных циклов, инвестиций в вычислительные ресурсы и необходимость получения или создания дополнительных учебных данных. В целом, это может привести к существенному снижению затрат при обучении моделей классификации.

Поймать переосмысление рано

Поскольку оценка F1 рассматривает как точность, так и отзыв, это может помочь практикующим ML определить, когда модель становится слишком специализированной в учебных данных. Эта проблема, называемая переосмыслением, является общей проблемой с моделями классификации. Оценка F1 дает практикам раннее предупреждение о том, что им необходимо корректировать обучение, прежде чем модель достигнет точки, когда она не может обобщать данные реального мира.

Ограничения оценки F1

Несмотря на многочисленные преимущества, балл F1 имеет несколько важных ограничений, которые должны учитывать практикующие. Эти ограничения включают в себя отсутствие чувствительности к истинным негативам, не подходящим для некоторых наборов данных и труднее интерпретировать для многоклассных задач.

Отсутствие чувствительности к истинным негативам

Оценка F1 не учитывает истинные негативы, что означает, что он не очень хорошо подходит для приложений, где это важно. Например, рассмотрим систему, предназначенную для выявления безопасных условий вождения. В этом случае правильно определение того, когда условия действительно безопасны (истинные негативы) так же важно, как идентификация опасных условий. Поскольку он не отслеживает FN, оценка F1 не будет точно захватить этот аспект общей производительности модели.

Не подходит для некоторых наборов данных

Оценка F1 не может быть подходит для наборов данных, где влияние FP и FN значительно отличается. Рассмотрим пример модели скрининга рака. В такой ситуации отсутствие положительного случая (FN) может быть опасным для жизни, в то время как неправильно обнаружение положительного случая (FP) приводит только к дополнительному тестированию. Таким образом, использование метрики, которая может быть взвешена для учета этой стоимости, является лучшим выбором, чем оценка F1.

Труднее интерпретировать для многоклассных проблем

В то время как вариации, такие как показатели Micro-F1 и Macro-F1, означают, что оценка F1 может использоваться для оценки систем классификации мультиклассных классификаций, интерпретация этих агрегированных метрик часто является более сложной, чем бинарный показатель F1. Например, оценка Micro-F1 может скрыть плохую производительность при классификации менее частых классов, в то время как оценка Macro-F1 может избыточный вес редких классов. Учитывая это, предприятия должны учитывать, является ли равное обращение с классами или общей производительности на уровне экземпляра более важным при выборе правильного варианта F1 для моделей классификации Multiclass.