Aprendizagem supervisionada versus não supervisionada: diferenças, benefícios e casos de uso

O aprendizado de máquina (ML) potencializa muitas tecnologias das quais dependemos diariamente, como reconhecimento de imagem e veículos autônomos. Duas abordagens fundamentais – aprendizagem supervisionada e não supervisionada – formam a espinha dorsal desses sistemas. Embora ambos sejam essenciais para o treinamento de modelos de ML, eles diferem em metodologia, objetivos e aplicações.

Neste guia, compararemos essas duas abordagens, destacaremos suas diferenças e exploraremos seus benefícios e desafios. Também exploraremos aplicações práticas para ajudá-lo a entender qual é a mais adequada para diversas tarefas.

Índice

• O que é aprendizagem supervisionada?
• O que é aprendizagem não supervisionada?
• Supervisionado vs. não supervisionado: principais diferenças
• Benefícios da aprendizagem supervisionada e não supervisionada
• Desafios da aprendizagem supervisionada e não supervisionada
• Aplicações de aprendizagem supervisionada e não supervisionada
• Conclusão

O que é aprendizagem supervisionada?

A aprendizagem supervisionada treina sistemas de ML usando dados rotulados. Neste contexto, “rotulado” significa que cada exemplo de treinamento está emparelhado com uma saída conhecida. Esses rótulos, muitas vezes criados por especialistas, ajudam o sistema a aprender as relações entre entradas e saídas. Uma vez treinados, os sistemas supervisionados podem aplicar essas relações aprendidas a dados novos e invisíveis para fazer previsões ou classificações.

Por exemplo, no contexto de carros autônomos, um sistema de aprendizagem supervisionado pode analisar dados de vídeo rotulados. Estas anotações identificam sinais de trânsito, pedestres e obstáculos, permitindo que o sistema reconheça e responda a características semelhantes em cenários de condução do mundo real.

Os algoritmos de aprendizagem supervisionada se enquadram em duas categorias principais:

• Classificação: Esses algoritmos atribuem rótulos a novos dados, como identificar e-mails como spam ou não spam.
• Regressão: Esses algoritmos prevêem valores contínuos, como a previsão de vendas futuras com base no desempenho passado.

À medida que os conjuntos de dados crescem e os recursos computacionais melhoram, os sistemas supervisionados tornam-se mais precisos e eficazes, apoiando aplicações como detecção de fraudes e diagnósticos médicos.

O que é aprendizagem não supervisionada?

A aprendizagem não supervisionada, por outro lado, analisa dados sem exemplos rotulados, contando com algoritmos estatísticos para descobrir padrões ou relações ocultas. Ao contrário dos sistemas supervisionados, estes modelos inferem a estrutura e atualizam as suas conclusões de forma dinâmica à medida que novas informações se tornam disponíveis. Embora o aprendizado não supervisionado seja excelente na descoberta de padrões, normalmente é menos eficaz para tarefas preditivas.

Um exemplo prático são os serviços de agregação de notícias. Esses sistemas agrupam artigos relacionados e postagens em mídias sociais sobre um evento de última hora sem rotulagem externa. Ao identificar pontos em comum em tempo real, eles realizam aprendizagem não supervisionada para destacar histórias importantes.

Aqui estão alguns algoritmos especializados de aprendizagem não supervisionada:

• Clustering:São usados ​​para segmentar consumidores e ajustar segmentos conforme os comportamentos mudam.
• Associação:detectam padrões nos dados, como a identificação de anomalias que podem indicar violações de segurança.
• Redução de dimensionalidade: simplificam estruturas de dados enquanto preservam informações críticas e são frequentemente usadas na compactação e visualização de conjuntos de dados complexos.

A aprendizagem não supervisionada é essencial para a análise exploratória de dados e para a descoberta de insights em cenários onde os dados rotulados não estão disponíveis.

Supervisionado versus não supervisionado: principais diferenças

A aprendizagem supervisionada e não supervisionada desempenha funções distintas no ML. Essas abordagens diferem em requisitos de dados, envolvimento humano, tarefas e aplicações. A tabela abaixo destaca essas diferenças, que exploraremos mais adiante.

Diferenças durante a fase de treinamento

A principal diferença entre os dois tipos de algoritmos é o tipo de conjuntos de dados dos quais eles dependem. A aprendizagem supervisionada se beneficia de grandes conjuntos de dados rotulados. Consequentemente, os sistemas supervisionados mais avançados dependem de mão-de-obra humana não especializada e em grande escala para analisar dados e gerar rótulos. Os dados rotulados também costumam consumir mais recursos para serem processados, de modo que os sistemas supervisionados não conseguem processar tantos dados no limite superior da escala.

Os sistemas de aprendizagem não supervisionados podem começar a ser eficazes com conjuntos de dados menores e podem processar quantidades muito maiores de dados com os mesmos recursos. Seus dados são mais fáceis de obter e processar, pois não dependem de mão de obra humana não especializada e em larga escala. Como compensação, os sistemas geralmente não alcançam um grau tão alto de precisão nas tarefas de previsão e muitas vezes dependem de trabalho especializado para se tornarem eficazes. Em vez de serem usados ​​onde a precisão é crucial, eles são usados ​​com mais frequência para inferir e atualizar padrões em dados, em escala e à medida que os dados mudam.

Diferenças quando implantado

Os aplicativos de aprendizagem supervisionada geralmente possuem um mecanismo integrado para obter mais dados rotulados em escala. Por exemplo, é fácil para os usuários de email marcar se as mensagens recebidas são spam ou não. Um provedor de e-mail pode acumular as mensagens marcadas em um conjunto de treinamento e então treinar sistemas de regressão logística para detecção de spam. Eles trocam um treinamento mais longo e que consome mais recursos por uma tomada de decisão mais rápida quando implantados. Além dos sistemas de regressão logística, outros algoritmos comuns de treinamento supervisionado incluem árvores de decisão e redes neurais, que são usados ​​de forma onipresente para prever e tomar decisões e para reconhecimento de padrões complexos.

Os sistemas não supervisionados se diferenciam quando aplicados a problemas que envolvem grandes quantidades de dados não estruturados. Eles podem detectar padrões nos dados, mesmo quando são transitórios, e devem ser detectados antes que o treinamento para aprendizagem supervisionada seja concluído. Por exemplo, algoritmos de agrupamento, um tipo de sistema de aprendizagem não supervisionado, podem detectar e atualizar segmentos de consumidores à medida que as tendências mudam. Se as tendências mudarem para padrões novos e invisíveis, elas permanecerão relevantes sem exigir tempo de inatividade para reciclagem.

Um exemplo de aprendizagem não supervisionada é o uso da análise de componentes principais (PCA) em finanças. PCA é um algoritmo que pode ser aplicado a grupos de investimentos em escala e ajuda a inferir e atualizar propriedades emergentes do grupo. Estes incluem indicadores financeiros importantes, tais como as fontes mais importantes de risco de investimento e factores susceptíveis de afectar os retornos. Outros tipos comuns de sistemas de aprendizagem não supervisionados são os autoencoders, que compactam e simplificam os dados, muitas vezes como uma etapa preparatória antes da aplicação de outros algoritmos de ML.

Benefícios da aprendizagem supervisionada e não supervisionada

Tanto os sistemas supervisionados como os não supervisionados são úteis para processar dados em uma escala e velocidade que superam a de humanos sem ajuda. No entanto, eles são mais adequados para diferentes aplicações. Abaixo, contrastamos alguns de seus principais benefícios.

Sistemas supervisionados

• Excel quando há dados históricos significativos disponíveis
• São muito melhores do que sistemas não supervisionados para treinar dados com estrutura, características e padrões conhecidos
• São ideais para detectar e aplicar características conhecidas de dados em escala
• Pode produzir resultados que são compreendidos e fazem sentido intuitivamente para os humanos
• Pode ter maior precisão em dados novos e não vistos
• Pode fazer previsões mais rapidamente e em maior escala do que sistemas não supervisionados

Sistemas não supervisionados

• São particularmente bons na identificação de estruturas e relacionamentos anteriormente invisíveis ou desconhecidos em dados
• Faça bem quando os dados são menos estruturados e suas propriedades são menos conhecidas
• Trabalhar em algumas condições onde os sistemas supervisionados não funcionam bem (por exemplo, em situações onde os dados não estão disponíveis ou onde estão disponíveis, mas não foram processados ​​por seres humanos)
• Requer menos recursos e menos tempo durante o treinamento do que sistemas supervisionados para quantidades equivalentes de dados
• Pode ser treinado e usado quando há muitos dados para serem bem processados ​​com sistemas supervisionados

Desafios da aprendizagem supervisionada e não supervisionada

Os sistemas supervisionados e não supervisionados fazem compromissos diferentes, e os desafios que enfrentam são por vezes bastante diferentes. Destacamos algumas das principais diferenças abaixo.

Sistemas supervisionados

• Exigir acesso a grandes quantidades de dados processados ​​por humanos, que só às vezes estão disponíveis ou são fáceis de obter
• Muitas vezes têm fases de treinamento mais longas e que consomem mais recursos
• Pode ter dificuldades para se adaptar rapidamente se as principais características dos dados mudarem
• Enfrente desafios ao processar dados inerentemente não estruturados, como vídeo ou áudio

Sistemas não supervisionados

• Detectará com mais frequência padrões que não generalizam bem para novos exemplos de dados
• Pode ser difícil tornar tão preciso quanto os sistemas supervisionados
• Eles produzem resultados que são difíceis de serem interpretados pelos humanos, e as interpretações desses resultados podem ser mais subjetivas.
• Pode levar mais tempo e recursos por previsão feita no mundo real

Aplicações de aprendizagem supervisionada e não supervisionada

Algumas aplicações e problemas são melhor resolvidos com sistemas de aprendizagem supervisionados, alguns são melhores com sistemas não supervisionados e alguns funcionam melhor usando uma combinação. Aqui estão três exemplos bem conhecidos.

Sistemas de aprendizagem mistos e aprendizagem semissupervisionada

É importante observar que a maioria dos aplicativos da vida real usa uma combinação de modelos supervisionados e não supervisionados. Os sistemas de aprendizagem são frequentemente combinados com base em fatores como orçamento, disponibilidade de dados, requisitos de desempenho e complexidade de engenharia. Ocasionalmente, um subconjunto especializado de algoritmos de aprendizagem que tenta combinar os benefícios de ambas as abordagens – aprendizagem semissupervisionada – também pode ser usado. Nos exemplos abaixo, indicamos o sistema mais provável ou primário que provavelmente será usado.

Previsão de tráfego (supervisionado)

A previsão de tráfego é uma tarefa desafiadora. Felizmente, muitos dados rotulados estão disponíveis, uma vez que as cidades auditam e registam regularmente os volumes de tráfego rodoviário. Algoritmos de regressão, um tipo de aprendizagem supervisionada, são fáceis de aplicar a estes dados e podem produzir previsões bastante precisas dos fluxos de tráfego. Suas previsões podem ajudar a informar a tomada de decisões sobre construção de estradas, sinalização de trânsito e colocação de semáforos. Algoritmos não supervisionados são menos eficazes nesta fase. Podem, no entanto, ser executados com base em dados de tráfego à medida que estes se acumulam após a implementação de uma alteração na estrutura rodoviária. Nesse ponto, eles ajudam a identificar e inferir automaticamente se algum problema novo e inédito pode ocorrer.

Agrupamento genético (não supervisionado)

A análise de dados genéticos pode ser lenta e complicada, uma vez que os volumes de dados são grandes e a maioria dos dados não é bem analisada. Muitas vezes não sabemos muito sobre o que os dados genéticos contêm – onde os genes e outros componentes genéticos podem ser armazenados no genoma, como são decodificados e interpretados, etc. Algoritmos não supervisionados são particularmente relevantes para este problema, uma vez que podem processar grandes quantidades. de dados e inferir automaticamente quais padrões eles contêm. Eles também podem ajudar a coletar informações genéticas de aparência semelhante em grupos separados. Uma vez que os dados genéticos são agrupados com base na similaridade, os agrupamentos podem ser facilmente processados ​​e testados para identificar a função biológica (se houver) que eles desempenham.

LLMs e aprendizagem por reforço (misto)

Grandes modelos de linguagem (LLMs) são um exemplo de aplicação que combina sistemas de aprendizagem supervisionados e não supervisionados. O sistema inicial, o LLM, geralmente é um exemplo de sistema não supervisionado. Para produzir um LLM, dados em grande escala são analisados ​​(digamos, todo o texto em inglês disponível na internet) por um sistema não supervisionado. O sistema infere muitos padrões a partir dos dados e desenvolve regras básicas para conversar em inglês.

No entanto, as inferências que um LLM faz não fazem um bom trabalho em ajudá-lo a soar como um ser humano típico em uma conversa. Eles também não ajudam a levar em conta as preferências individuais de comunicação. Um sistema supervisionado – especificamente, um sistema de reforço que usa feedback anotado dos usuários (chamado aprendizagem por reforço a partir de feedback humano, ou RLHF, para abreviar) – é uma maneira de resolver esse problema. O RLHF pode ser aplicado a um LLM já treinado para ajudá-lo a falar bem com os humanos em geral. Ele também pode aprender preferências individuais e falar da maneira que uma pessoa específica prefere.

Conclusão

Em resumo, a aprendizagem supervisionada e não supervisionada são dois subconjuntos fundamentais de ML, cada um oferecendo pontos fortes únicos. A aprendizagem supervisionada se destaca em cenários com dados rotulados abundantes, recursos suficientes para treinamento inicial e necessidade de tomada de decisão rápida e escalonável. Por outro lado, a aprendizagem não supervisionada brilha ao descobrir estruturas e relações ocultas nos dados, especialmente quando os dados rotulados ou os recursos de formação são limitados e a tomada de decisões pode acomodar mais tempo e complexidade. Ao compreender as vantagens, os desafios e os casos de uso de ambas as abordagens, você poderá tomar decisões informadas sobre quando e como aplicá-las de maneira eficaz.