Explicación del aprendizaje en pocas oportunidades: transformar la IA con datos mínimos

El aprendizaje de pocas posibilidades (FSL) está transformando el aprendizaje automático (ML) al permitir que los modelos aprendan y generen resultados precisos a partir de solo un puñado de ejemplos, a diferencia de los métodos tradicionales que requieren grandes conjuntos de datos. Esta guía explora cómo funciona FSL, sus aplicaciones, comparaciones con el aprendizaje de disparo cero (ZSL) y sus desafíos y potencial.

Tabla de contenido

• ¿Qué es el aprendizaje en pocas oportunidades?
• Aprendizaje con pocas posibilidades versus indicaciones con pocas posibilidades: ¿cuál es la diferencia?
• Cómo funciona el aprendizaje en pocas oportunidades
• Aprendizaje con pocas posibilidades versus aprendizaje sin posibilidades
• Aplicaciones para el aprendizaje en pocas oportunidades
• Beneficios del aprendizaje en pocas oportunidades
• Desafíos del aprendizaje en pocas oportunidades

¿Qué es el aprendizaje de pocas oportunidades (FSL)?

El aprendizaje de pocas posibilidades (FSL) se refiere a una familia de técnicas de aprendizaje automático diseñadas para crear modelos adaptables capaces de generar resultados precisos después de haber sido entrenados en solo unos pocos ejemplos etiquetados por categoría. Cuando solo está disponible un ejemplo etiquetado por categoría, se denomina aprendizaje de una sola vez. Por ejemplo, los teléfonos inteligentes modernos aprovechan FSL para reconocer el rostro de un usuario con sólo unas pocas fotos, o incluso una sola foto.

FSL es particularmente valioso porque permite que los modelos de ML aborden problemas donde los datos son escasos, como suele ser el caso en el mundo real. Los modelos FSL también pueden manejar una gama más amplia de tareas que los modelos tradicionales de aprendizaje supervisado porque aprenden a generalizar. Esto ahorra recursos porque suele ser más económico y rápido adaptar un modelo FSL a una nueva tarea que entrenar un modelo completamente nuevo desde cero. A menudo se describe que FSL enseña a los modelos de aprendizaje automático a "pensar" más como humanos al aprender a abstraerse de solo un puñado de ejemplos.

FSL se utiliza a menudo para aplicaciones de visión por computadora, pero también se implementa en robótica y procesamiento del lenguaje natural (NLP). Por ejemplo, FSL se ha utilizado para traducir textos sumerios antiguos, una tarea útil dado que los expertos en lengua sumeria son escasos. El traductor sumerio de los modelos FSL aprendió a traducir a partir de un pequeño conjunto de muestras de tablillas cuneiformes de alta calidad. Luego tradujeron con precisión grandes cantidades de texto desconocido para que los académicos lo analizaran.

Aprendizaje con pocas posibilidades versus indicaciones con pocas posibilidades: ¿cuál es la diferencia?

FSL y las indicaciones breves son conceptos relacionados en ML y PNL, pero tienen propósitos diferentes.

Aprendizaje en pocas oportunidades

FSL es una técnica de entrenamiento de modelos que enseña a los modelos a clasificar datos invisibles. Funciona ajustando los parámetros del modelo para adaptarse a nuevos tipos de tareas de clasificación, basándose en conocimientos previos. FSL está relacionado con el aprendizaje supervisado, pero la diferencia es que los modelos FSL se entrenan con un conjunto de datos mucho más limitado.

Indicaciones de pocos disparos

Las indicaciones breves son una forma de trabajar con modelos de lenguaje grandes (LLM). Utiliza aprendizaje en contexto, un tipo de aprendizaje en el que el modelo utiliza información del mensaje, como el formato y la opinión, para predecir un resultado. A diferencia de FSL y el aprendizaje supervisado tradicional, las indicaciones breves no implican cambiar los parámetros del LLM. Cuando utiliza indicaciones breves, le proporciona al LLM varios ejemplos del tipo de respuesta que está buscando. Al igual que FSL, las indicaciones de pocas tomas sirven para ayudar a que un modelo se generalice exponiéndolo a algunos ejemplos de una tarea similar.

Cómo funciona el aprendizaje en pocas oportunidades

El aprendizaje de pocas oportunidades implica dos etapas: primero, los modelos se entrenan previamente en un conjunto de datos generales para aprender sobre el mundo. Luego se someten a una adaptación de tareas, donde los modelos aprenden a generalizar a partir de pequeñas muestras de datos.

Pre-entrenamiento

La primera etapa para la mayoría de los modelos FSL comienza con el entrenamiento previo en un gran conjunto de datos etiquetados, al igual que el aprendizaje supervisado. El modelo realiza una extracción de características en este conjunto de datos y aprende a clasificar ejemplos desarrollando una base de conocimientos sobre patrones y relaciones en los datos.

Adaptación de tareas

Después del entrenamiento previo, la siguiente etapa de FSL es entrenar el modelo para generalizarlo a nuevas tareas de clasificación. Esto se llama adaptación de tareas y ocurre a lo largo de múltiples episodios de entrenamiento.

En cada episodio, hay un conjunto de soporte de dos a cinco ejemplos para que el modelo los estudie y un conjunto de consultas con objetivos invisibles para que el modelo intente clasificar. Este marco se denomina clasificación K-shot de N vías, en la queNse refiere al número de categorías (llamadas clases) yKse refiere al número de ejemplos etiquetados (shots) de cada categoría.

Todos los modelos FSL están diseñados para lograr la adaptación de tareas. Dentro del conjunto de técnicas FSL, una de las áreas de investigación más importantes y apasionantes es el metaaprendizaje.

Enfoques de metaaprendizaje

El metaaprendizaje implica exponer el modelo a tareas similares o relacionadas con la tarea de clasificación para la que el modelo fue entrenado inicialmente. Obtiene solo unos pocos ejemplos de cada nueva tarea, pero a partir de ellos aprende a generalizar mediante el desarrollo de un metamarco sobre qué hacer cuando se le asigna una tarea desconocida.

En términos generales, existen tres tipos de enfoques para el metaaprendizaje:

1. Aprendizaje basado en optimización:esto incluye enfoques que entrenan modelos para mejorar sus parámetros rápidamente. Algunos de ellos utilizan un proceso de dos etapas en el que se capacita a un alumno en una tarea específica y luego un metaaprendiz usa la función de pérdida de la etapa de alumno para mejorar los parámetros del modelo para la siguiente tarea.
2. Aprendizaje a nivel de métricas:utilizado principalmente para tareas de visión por computadora, el aprendizaje métrico funciona mapeando características extraídas en un espacio de incrustación y usando la distancia entre características en el mapa para generar una probabilidad de que dos imágenes sean similares.
3. Metaaprendizaje independiente del modelo (MAML):en MAML, el objetivo del proceso de entrenamiento es reducir la cantidad de pasos de gradiente necesarios para optimizar los parámetros del modelo, independientemente de la tarea. MAML analiza los procesos de aprendizaje de las tareas, infiere patrones en cómo funciona el proceso y desarrolla modelos que actúan como atajos, acelerando el proceso de aprendizaje con cada nueva tarea que ve.

La lista de arquitecturas de modelos que utilizan técnicas de metaaprendizaje crece constantemente a medida que los investigadores idean nuevas formas de ayudar a que los modelos se vuelvan adaptables.

Enfoques que no son de metaaprendizaje

También existen métodos FSL y adyacentes a FSL que no utilizan metaaprendizaje. A veces, FSL se implementa junto con estas técnicas para crear un enfoque híbrido:

• Transferir aprendizaje:este método implica tomar un modelo previamente entrenado y ajustar las capas externas de la red neuronal. El aprendizaje por transferencia es más útil en escenarios donde la tarea que desea que realice el modelo está cerca de la tarea en la que ya se ha entrenado.
• Aumento de datos:FSL se puede fortalecer con el aumento de datos, lo que implica el uso de sus datos limitados como base para crear datos sintéticos utilizando redes generativas adversarias (GAN) o codificadores automáticos variacionales para aumentar la cantidad de muestras para su conjunto de entrenamiento.

Aprendizaje con pocas posibilidades versus aprendizaje sin posibilidades

El aprendizaje de pocas oportunidades (o aprendizaje de una sola vez) se utiliza a menudo en escenarios donde hay datos limitados pero de alta calidad para entrenar un modelo. Pero ¿qué pasa si no tienes ningún dato de alta calidad? En el aprendizaje de disparo cero (ZSL), no le da ejemplos a su modelo y, en cambio, le pide que se base únicamente en el conocimiento previo y las incorporaciones semánticas a las que puede recurrir para manejar tareas desconocidas.

ZSL ofrece una solución rápida y flexible para manejar situaciones con muy pocos datos. Sin embargo, los modelos ZSL pueden tener dificultades con el cambio de dominio (lo que significa que pueden tener dificultades si el tipo de datos que ven es demasiado diferente de su base de conocimientos) y puede resultar difícil evaluar qué tan bien se está desempeñando un modelo.

Aplicaciones para el aprendizaje en pocas oportunidades

Las aplicaciones de FSL son amplias y están en constante evolución, pero tiene un enorme potencial para ser útil en áreas donde hay relativamente pocos ejemplos disponibles. Algunas áreas recientes de investigación para casos de uso incluyen:

• Diagnóstico médico:FSL puede ayudar en la clasificación de tumores basada en imágenes cuando no hay suficientes datos etiquetados para que los modelos tradicionales de aprendizaje supervisado sean útiles.
• Teledetección:FSL puede acelerar las tareas de teledetección, como el uso de imágenes de vehículos aéreos no tripulados para evaluar los impactos de los desastres ambientales.
• Creación de prototipos de autos de carrera de F1:los modelos FSL están previamente entrenados en fluidos y aerodinámica y otros datos para cientos de autos durante miles de carreras. Luego utilizan FSL para predecir la aerodinámica y la degradación de piezas de nuevos prototipos de automóviles basándose en una pequeña cantidad de costosas pruebas.
• Traducción automática:FSL ha ayudado a crear traductores automáticos más eficientes que utilizan muy poca información y pueden capturar matices en variaciones dialectales y regionales con una precisión sin precedentes.
• Robótica:FSL se utiliza para enseñar a los robots a aprender a agarrar objetos observando demostraciones humanas.
• Análisis de sentimiento:un modelo FSL entrenado originalmente en reseñas de hoteles se puede utilizar para clasificar reseñas de restaurantes.

FSL también es parte de la búsqueda para construir inteligencia artificial general porque imita más fielmente la forma en que los humanos abordan la resolución de problemas.

Beneficios del aprendizaje en pocas oportunidades

Los principales beneficios de los modelos FSL son que pueden manejar problemas en los que hay datos limitados disponibles y pueden ayudar a reducir los recursos computacionales y financieros necesarios para entrenar nuevos modelos.

Generalizando con datos limitados

Los modelos FSL pueden hacer esto porque no memorizan imágenes, sonidos o lenguaje a través de muchas iteraciones. En cambio, aprenden a analizar similitudes y diferencias rápidamente. Mientras que los modelos tradicionales destacan en tareas muy específicas como identificar una especie particular de ave o comparar huellas dactilares, fallan tan pronto como se les pide que completen cualquier otra tarea.

Usando menos recursos

Técnicas como MAML son una forma mucho más eficiente de utilizar recursos de entrenamiento de modelos. Permiten adaptar de forma rápida y eficiente modelos muy costosos a gran escala a casos de uso específicos sin costosos pasos de reentrenamiento. Uno de los grandes desafíos del aprendizaje automático es cuántos datos se requieren para entrenar un modelo para que produzca resultados útiles, tanto en términos de compilar conjuntos de datos grandes y de alta calidad como en cuánto tiempo y cálculo se requieren. FSL promete resolver muchos problemas del mundo real donde los datos son escasos o cruzan dominios.

Desafíos del aprendizaje en pocas oportunidades

A pesar de su promesa, FSL enfrenta desafíos que pueden obstaculizar la efectividad del modelo.

Sobreajuste

El uso de conjuntos de datos limitados puede provocar un sobreajuste, donde el modelo se alinea demasiado con los datos de sus conjuntos de entrenamiento y tiene dificultades para generalizar. Este es un problema familiar en ML que ocurre con más frecuencia con FSL que con otros enfoques de ML. Un modelo FSL que se sobreajuste funcionará bien con los datos de prueba, pero no identificará nuevas categorías cuando se le presenten ejemplos del mundo real. Para evitar esto, es importante tener diversidad en las muestras limitadas utilizadas para el entrenamiento de pocos disparos. El aumento de datos, discutido anteriormente, intenta aliviar el sobreajuste sintetizando más ejemplos para el entrenamiento.

Calidad de datos

Es importante contar con datos de alta calidad tanto en la etapa previa al entrenamiento como en la etapa de aprendizaje de pocas oportunidades. Los modelos FSL se ven obstaculizados más fácilmente por datos ruidosos y mal etiquetados. Tampoco funcionan bien cuando los datos tienen demasiados de un tipo y no de otro o tienen demasiadas características para que el modelo las analice; en estos casos, tienden a volverse demasiado complejos. A veces, los investigadores pueden hacer frente a estos problemas utilizando técnicas de regularización, que son formas de suavizar los datos para ayudar a un modelo a determinar a qué prestar atención y qué ignorar.