Explicação do aprendizado rápido: transformando a IA com dados mínimos

O aprendizado rápido (FSL) está transformando o aprendizado de máquina (ML), permitindo que os modelos aprendam e gerem resultados precisos a partir de apenas alguns exemplos, ao contrário dos métodos tradicionais que exigem vastos conjuntos de dados. Este guia explora como o FSL funciona, suas aplicações, comparações com o zero-shot learning (ZSL) e seus desafios e potencial.

Índice

• O que é aprendizado rápido?
• Aprendizagem em poucas tentativas versus solicitação em poucas tentativas: Qual é a diferença?
• Como funciona o aprendizado rápido
• Aprendizagem rápida versus aprendizagem zero
• Aplicativos para aprendizado rápido
• Benefícios do aprendizado rápido
• Desafios do aprendizado rápido

O que é aprendizagem rápida (FSL)?

O aprendizado rápido (FSL) refere-se a uma família de técnicas de ML projetadas para criar modelos adaptáveis ​​capazes de gerar resultados precisos após serem treinados em apenas alguns exemplos rotulados por categoria. Quando apenas um exemplo rotulado por categoria está disponível, isso é chamado de aprendizagem única. Por exemplo, os smartphones modernos utilizam o FSL para reconhecer o rosto de um usuário com apenas algumas fotos – ou mesmo uma única foto.

O FSL é particularmente valioso porque permite que os modelos de ML resolvam problemas onde os dados são escassos, como costuma acontecer no mundo real. Os modelos FSL também podem lidar com uma gama mais ampla de tarefas do que os modelos tradicionais de aprendizagem supervisionada porque aprendem a generalizar. Isto economiza recursos porque muitas vezes é mais barato e rápido adaptar um modelo FSL a uma nova tarefa do que treinar um modelo inteiramente novo do zero. FSL é frequentemente descrito como ensinando modelos de ML a “pensar” mais como humanos, aprendendo a abstrair apenas alguns exemplos.

FSL é frequentemente usado para aplicações de visão computacional, mas também é implantado em robótica e processamento de linguagem natural (PNL). Por exemplo, o FSL tem sido usado para traduzir textos sumérios antigos – uma tarefa útil, visto que há escassez de especialistas em língua suméria. Os modelos FSL do tradutor sumério aprenderam como traduzir com apenas um pequeno conjunto de amostras de tabuinhas cuneiformes de alta qualidade. Eles então traduziram com precisão grandes quantidades de textos desconhecidos para os estudiosos analisarem.

Aprendizagem em poucas tentativas versus solicitação em poucas tentativas: Qual é a diferença?

FSL e prompts de poucas tentativas são conceitos relacionados em ML e PNL, mas servem a propósitos diferentes.

Aprendizagem rápida

FSL é uma técnica de treinamento de modelo que ensina modelos a classificar dados invisíveis. Funciona ajustando os parâmetros do modelo para se adaptar a novos tipos de tarefas de classificação, com base no conhecimento prévio. O FSL está relacionado à aprendizagem supervisionada, mas a diferença é que os modelos FSL são treinados em um conjunto de dados muito mais limitado.

Solicitação de poucos disparos

A solicitação rápida é uma maneira de trabalhar com grandes modelos de linguagem (LLMs). Ele usa aprendizagem no contexto – um tipo de aprendizagem em que o modelo usa informações do prompt, como formato e sentimento, para prever uma saída. Ao contrário do FSL e do aprendizado supervisionado tradicional, a solicitação de poucos disparos não envolve a alteração dos parâmetros do LLM. Ao usar solicitações de poucos disparos, você fornece ao LLM vários exemplos do tipo de resposta que está procurando. Assim como o FSL, o prompt de poucas tentativas visa ajudar um modelo a generalizar, expondo-o a alguns exemplos de uma tarefa semelhante.

Como funciona o aprendizado rápido

O aprendizado rápido envolve dois estágios: primeiro, os modelos são pré-treinados em um conjunto de dados geral para aprender sobre o mundo. Em seguida, eles passam por adaptação de tarefas, onde os modelos aprendem como generalizar a partir de pequenas amostras de dados.

Pré-treino

O primeiro estágio para a maioria dos modelos FSL começa com o pré-treinamento em um grande conjunto de dados rotulados, assim como o aprendizado supervisionado. O modelo realiza a extração de recursos neste conjunto de dados e aprende a classificar exemplos desenvolvendo uma base de conhecimento sobre padrões e relacionamentos nos dados.

Adaptação de tarefas

Após o pré-treinamento, a próxima etapa do FSL é treinar o modelo para generalizar para novas tarefas de classificação. Isso é chamado de adaptação de tarefas e acontece em vários episódios de treinamento.

Em cada episódio, há um conjunto de suporte de dois a cinco exemplos para o modelo estudar e um conjunto de consultas com alvos invisíveis para o modelo tentar classificar. Essa estrutura é chamada de classificação N-way K-shot, na qualNse refere ao número de categorias (chamadas de classes) eKse refere ao número de exemplos rotulados (shots) de cada categoria.

Todos os modelos FSL são projetados para conseguir adaptação às tarefas. Dentro do conjunto de técnicas FSL, uma das áreas de pesquisa mais importantes e interessantes é a meta-aprendizagem.

Abordagens de meta-aprendizagem

A meta-aprendizagem envolve expor o modelo a tarefas semelhantes ou relacionadas à tarefa de classificação para a qual o modelo foi inicialmente treinado. Ele obtém apenas alguns exemplos de cada nova tarefa, mas a partir deles aprende a generalizar, desenvolvendo uma metaestrutura sobre o que fazer quando recebe qualquer tarefa desconhecida.

Em termos gerais, existem três tipos de abordagens para a meta-aprendizagem:

1. Aprendizagem baseada em otimização:inclui abordagens que treinam modelos para melhorar seus parâmetros rapidamente. Alguns deles usam um processo de dois estágios onde um aluno é treinado em uma tarefa específica e então um meta-aluno usa a função de perda do estágio de aluno para melhorar os parâmetros do modelo para a próxima tarefa.
2. Aprendizagem em nível métrico:Usada principalmente para tarefas de visão computacional, a aprendizagem métrica funciona mapeando recursos extraídos em um espaço de incorporação e usando a distância entre recursos no mapa para gerar uma probabilidade de que duas imagens sejam semelhantes.
3. Metaaprendizagem independente de modelo (MAML):No MAML, o objetivo do processo de treinamento é reduzir o número de etapas de gradiente necessárias para otimizar os parâmetros do modelo, independentemente da tarefa. O MAML analisa processos de aprendizagem para tarefas, infere padrões de funcionamento do processo e desenvolve modelos que funcionam como atalhos, acelerando o processo de aprendizagem a cada nova tarefa que vê.

A lista de arquiteturas de modelos que utilizam técnicas de meta-aprendizagem cresce constantemente à medida que os pesquisadores desenvolvem novas maneiras de ajudar os modelos a se tornarem adaptáveis.

Abordagens não meta-aprendizagem

Existem também métodos FSL e adjacentes a FSL que não usam meta-aprendizado. O FSL às vezes é implantado junto com estas técnicas para criar uma abordagem híbrida:

• Aprendizagem por transferência:este método envolve pegar um modelo pré-treinado e ajustar as camadas externas da rede neural. A aprendizagem por transferência é mais útil em cenários onde a tarefa que você deseja que o modelo execute está próxima da tarefa na qual ele já foi treinado.
• Aumento de dados:o FSL pode ser fortalecido com o aumento de dados, que envolve o uso de seus dados limitados como base para criar dados sintéticos usando redes adversárias generativas (GANs) ou codificadores automáticos variacionais para aumentar o número de amostras para seu conjunto de treinamento.

Aprendizagem rápida versus aprendizagem zero

O aprendizado rápido (ou aprendizado único) é frequentemente usado em cenários onde há dados limitados, mas de alta qualidade, para treinar um modelo. Mas e se você não tiver nenhum dado de alta qualidade? No aprendizado zero-shot (ZSL), você não dá exemplos ao seu modelo e, em vez disso, pede que ele confie apenas no conhecimento prévio e nas incorporações semânticas nas quais ele pode recorrer para lidar com tarefas desconhecidas.

ZSL oferece uma solução rápida e flexível para lidar com situações com poucos dados. No entanto, os modelos ZSL podem ter dificuldades com a mudança de domínio – o que significa que podem ter dificuldades se o tipo de dados que estão vendo for muito diferente de sua base de conhecimento – e pode ser difícil avaliar o desempenho de um modelo.

Aplicativos para aprendizado rápido

As aplicações do FSL são amplas e estão em constante evolução, mas tem um enorme potencial para ser útil em áreas onde há relativamente poucos exemplos disponíveis. Algumas áreas recentes de pesquisa para casos de uso incluem:

• Diagnóstico médico:O FSL pode ajudar na classificação de tumores baseada em imagens onde não há dados rotulados suficientes para que os modelos tradicionais de aprendizagem supervisionada sejam úteis.
• Sensoriamento remoto:O FSL pode acelerar tarefas de sensoriamento remoto, como o uso de imagens de UAV para avaliar os impactos de desastres ambientais.
• Prototipagem de carros de corrida de F1:os modelos FSL são pré-treinados em fluidos e aerodinâmica e outros dados para centenas de carros em milhares de corridas. Eles então usam o FSL para prever a aerodinâmica e a degradação de peças para novos protótipos de carros com base em um pequeno número de testes caros.
• Tradução automática:A FSL ajudou a criar tradutores automáticos mais eficientes que usam muito poucos recursos e podem capturar nuances no dialeto e na variação regional com uma precisão sem precedentes.
• Robótica:o FSL está sendo usado para ensinar robôs a aprender a agarrar objetos observando demonstrações humanas.
• Análise de sentimento:um modelo FSL originalmente treinado em avaliações de hotéis pode ser usado para classificar avaliações de restaurantes.

O FSL também faz parte da busca pela construção de inteligência artificial geral porque imita mais de perto a forma como os humanos abordam a resolução de problemas.

Benefícios do aprendizado rápido

Os principais benefícios dos modelos FSL são que eles podem lidar com problemas onde há dados limitados disponíveis e podem ajudar a reduzir os recursos computacionais e financeiros necessários para treinar novos modelos.

Generalizando com dados limitados

Os modelos FSL podem fazer isso porque não memorizam imagens, sons ou linguagem por meio de muitas iterações. Em vez disso, aprendem a analisar semelhanças e diferenças rapidamente. Embora os modelos tradicionais sejam excelentes em tarefas altamente específicas, como identificar uma espécie específica de ave ou combinar impressões digitais, eles falham assim que você solicita que concluam qualquer outra tarefa.

Usando menos recursos

Técnicas como MAML são uma forma muito mais eficiente de usar recursos de treinamento de modelo. Eles permitem que modelos de grande escala muito caros sejam adaptados de forma rápida e eficiente a casos de uso específicos, sem etapas dispendiosas de retreinamento. Um dos grandes desafios no aprendizado de máquina é a quantidade de dados necessária para treinar um modelo a fim de produzir resultados úteis, tanto em termos de compilação de grandes conjuntos de dados de alta qualidade quanto em quanto tempo e computação são necessários. O FSL promete resolver muitos problemas do mundo real onde os dados são escassos ou cruzam domínios.

Desafios do aprendizado rápido

Apesar da sua promessa, o FSL tem desafios que podem prejudicar a eficácia do modelo.

Sobreajuste

O uso de conjuntos de dados limitados pode causar overfitting, onde o modelo se alinha muito estreitamente com os dados em seus conjuntos de treinamento e tem dificuldade para generalizar. Este é um problema familiar em ML que ocorre com mais frequência com FSL do que com outras abordagens de ML. Um modelo FSL que superajuste terá um bom desempenho nos dados de teste, mas não identificará novas categorias quando apresentado com exemplos do mundo real. Para evitar isso, é importante ter diversidade nas amostras limitadas utilizadas para treinamento de poucas tacadas. O aumento de dados, discutido acima, tenta aliviar o overfitting sintetizando mais exemplos para treinamento.

Qualidade dos dados

Dados de alta qualidade tanto no estágio de pré-treinamento quanto no estágio de aprendizado rápido são importantes. Os modelos FSL são mais facilmente prejudicados por dados ruidosos e mal rotulados. Eles também não funcionam bem quando os dados têm muitos de um tipo e não de outro ou têm muitos recursos para serem analisados ​​pelo modelo; nesses casos, eles tendem a se tornar excessivamente complexos. Às vezes, os pesquisadores podem lidar com esses problemas usando técnicas de regularização, que são formas de suavizar os dados para ajudar um modelo a descobrir no que prestar atenção e o que ignorar.