Aprendizagem supervisionada: o que é e como funciona

Do reconhecimento de imagens à filtragem de spam, descubra como o aprendizado supervisionado potencializa muitas das aplicações de IA que encontramos diariamente neste guia informativo.

Índice

• O que é aprendizagem supervisionada?
• Aprendizagem supervisionada vs. aprendizagem não supervisionada
• Como funciona o aprendizado supervisionado
• Tipos de aprendizagem supervisionada
• Aplicações de aprendizagem supervisionada
• Vantagens do aprendizado supervisionado
• Desvantagens da aprendizagem supervisionada

O que é aprendizagem supervisionada?

O aprendizado supervisionado é um tipo de aprendizado de máquina (ML) que treina modelos usando dados rotulados com a resposta correta. O termosupervisionadosignifica que estes rótulos fornecem orientações claras sobre a relação entre entradas e saídas. Esse processo ajuda o modelo a fazer previsões precisas sobre dados novos e não vistos.

O aprendizado de máquina é um subconjunto da inteligência artificial (IA) que usa dados e métodos estatísticos para construir modelos que imitam o raciocínio humano, em vez de depender de instruções codificadas. A aprendizagem supervisionada adota uma abordagem guiada e baseada em dados para identificar padrões e relacionamentos em conjuntos de dados rotulados. Extrapola a partir das suas avaliações para prever resultados para dados novos e inéditos. Ele aprende comparando suas previsões com os rótulos conhecidos e ajustando seu modelo para minimizar erros.

Aprendizagem supervisionada vs. aprendizagem não supervisionada

Em contraste com a aprendizagem supervisionada, que utiliza dados rotulados, a aprendizagem não supervisionada encontra padrões em dados não rotulados.

Sem a “supervisão” fornecida pelas respostas corretas explícitas nos dados de treinamento, o aprendizado não supervisionado trata tudo o que vê como dados para analisar padrões e agrupamentos. Os três tipos principais são:

• Clustering: esta técnica agrupa pontos de dados mais adjacentes entre si.É útil para segmentação de clientes ou classificação de documentos.
• Associação: Determinar quando as coisas tendem a ocorrer simultaneamente, principalmente para colocar itens frequentemente comprados juntos ou sugerir o que transmitir em seguida.
• Redução de dimensionalidade: redução de conjuntos de dados para facilitar o processamento e, ao mesmo tempo, preservar todos ou a maioria dos detalhes.

Por outro lado, a aprendizagem supervisionada faz sentido quando se deseja que o modelo tome decisões. As principais aplicações incluem:

• Decisões sim ou não: marcação de dados como uma classe ou outra.Freqüentemente usado para filtragem como spam ou detecção de fraude.
• Classificação: descobrir a qual das várias classes algo pertence, como identificar objetos dentro de uma imagem ou reconhecer fala.
• Regressão: previsão de valores contínuos com base em dados históricos, como previsão de preços de casas ou condições climáticas.

Outros tipos de ML ficam entre esses dois: aprendizagem semissupervisionada, de reforço e autossupervisionada.

Como funciona o aprendizado supervisionado

A aprendizagem supervisionada envolve um processo estruturado de escolha e formatação de dados, execução do modelo e teste de desempenho.

Aqui está uma breve visão geral do processo de aprendizagem supervisionada:

1 Rotulagem: Os dados rotulados são essenciais para aprender a associação correta entre entradas e saídas.Por exemplo, se você estiver criando um modelo para analisar o sentimento em análises de produtos, comece fazendo com que avaliadores humanos leiam as análises e as marquem como positivas, negativas ou neutras.

2 Coleta e limpeza de dados: certifique-se de que seus dados de treinamento sejam abrangentes e representativos.Limpe os dados removendo duplicatas, corrigindo erros e manipulando quaisquer valores ausentes para prepará-los para análise.

3 Seleção e extração de recursos: Identifique e selecione os atributos mais influentes, tornando o modelo mais eficiente e eficaz.Esta etapa também pode envolver a criação de novos recursos a partir dos existentes para capturar melhor os padrões subjacentes nos dados, como a conversão da data de nascimento em idade.

4 Divisão de dados: divida o conjunto de dados em conjuntos de treinamento e teste.Use o conjunto de treinamento para treinar o modelo e o conjunto de testes para ver quão bem ele se generaliza para dados novos e não vistos.

5 Seleção de algoritmo: Escolha um algoritmo de aprendizagem supervisionada com base na tarefa e nas características dos dados.Você também pode executar e comparar vários algoritmos para encontrar o melhor.

6 Treinamento do modelo: treine o modelo usando os dados para melhorar sua precisão preditiva.Durante esta fase, o modelo aprende a relação entre entradas e saídas, minimizando iterativamente o erro entre suas previsões e os rótulos reais fornecidos nos dados de treinamento. Dependendo da complexidade do algoritmo e do tamanho do conjunto de dados, isso pode levar de segundos a dias.

7 Avaliação do modelo: Avaliar o desempenho do modelo garante que ele produza previsões confiáveis ​​e precisas sobre novos dados.Esta é uma diferença fundamental em relação ao aprendizado não supervisionado: como você conhece o resultado esperado, pode avaliar o desempenho do modelo.

8 Ajuste do modelo: ajuste e treine novamente os parâmetros do modelo para ajustar o desempenho.Este processo iterativo, denominado ajuste de hiperparâmetros, visa otimizar o modelo e evitar problemas como overfitting. Este processo deve ser repetido após cada ajuste.

9 Implantação e monitoramento: Implante o modelo treinado para fazer previsões sobre novos dados em um ambiente real.Por exemplo, implante o modelo treinado de detecção de spam para filtrar e-mails, monitorar seu desempenho e fazer ajustes conforme necessário.

10 Ajuste ao longo do tempo: À medida que você coleta mais dados do mundo real, continue treinando o modelo para se tornar mais preciso e relevante.

Tipos de aprendizagem supervisionada

Existem dois tipos principais de aprendizagem supervisionada: classificação e regressão. Cada tipo tem seus próprios subtipos e casos de uso específicos. Vamos explorá-los com mais detalhes:

Classificação

A classificação envolve prever a qual categoria ou classe uma entrada pertence. Vários subtipos e conceitos são usados ​​para lidar com diferentes problemas de classificação. Aqui estão alguns tipos populares:

• Classificação binária: O modelo prevê uma das duas classes possíveis.Isto é útil quando o resultado é binário, o que significa que existem apenas dois estados ou categorias possíveis. Esta abordagem é usada em decisões onde é necessária uma distinção clara.
• Classificação multiclasse: semelhante à binária, mas com mais de duas opções para as quais existe apenas uma resposta certa. Esta abordagem é usada quando há múltiplas categorias às quais uma entrada pode pertencer.
• Classificação multirótulo: cada entrada pode pertencer a várias classes simultaneamente. Ao contrário da classificação binária ou multiclasse, onde cada entrada é atribuída a uma única classe, a classificação multirótulo permite atribuir vários rótulos a uma única entrada. Esta é uma análise mais complexa porque, em vez de apenas escolher a classe à qual a entrada provavelmente pertencerá, você precisa decidir um limite de probabilidade de inclusão.
• Regressão logística: Uma aplicação de regressão (veja abaixo) à classificação binária. Essa abordagem pode lhe dizer a confiança de sua previsão, em vez de um simples isto ou aquilo.

Existem várias maneiras de medir a qualidade de um modelo de classificação, incluindo:

• Precisão: quantas das previsões totais estavam corretas?
• Precisão: Quantos dos aspectos positivos são realmente positivos?
• Lembre-se: quantos dos pontos positivos reais foram marcados como positivos?
• Pontuação F1: Em uma escala de 0% a 100%, quão bem o modelo equilibra precisão e recall?

Regressão

A regressão envolve prever um valor contínuo com base em recursos de entrada, gerando um número que também pode ser chamado de previsão. Vários tipos de modelos de regressão são usados ​​para capturar as relações entre esses recursos de entrada e a saída contínua. Aqui estão alguns tipos populares:

• Regressão linear: modela a relação entre os recursos de entrada e a saída como uma linha reta.O modelo assume uma relação linear entre a variável dependente (a saída) e as variáveis ​​independentes (as entradas). O objetivo é encontrar a linha de melhor ajuste através dos pontos de dados que minimize a diferença entre os valores previstos e reais.
• Regressão polinomial: Mais complexa que a regressão linear porque usa polinômios como quadrado e cubo para capturar relações mais complexas entre as variáveis ​​de entrada e saída. O modelo pode ajustar dados não lineares usando esses termos de ordem superior.
• Regressão Ridge e Lasso: aborda o problema de overfitting, que é a tendência de um modelo de ler demais os dados nos quais foi treinado, em detrimento da generalização. A regressão Ridge reduz a sensibilidade do modelo a pequenos detalhes, enquanto a regressão laço elimina a consideração de recursos menos importantes.

A maioria das medições da qualidade da regressão tem a ver com a distância entre as previsões e os valores reais. As perguntas que eles respondem são:

• Erro absoluto médio: Em média, a que distância estão as previsões dos valores reais?
• Erro quadrático médio: quanto os erros aumentam quando erros maiores são mais significativos?
• Erro quadrático médio : até que ponto os erros grandes fazem com que as previsões se desviem dos valores reais?
• R-quadrado: Quão bem a regressão se ajusta aos dados?

Aplicações de aprendizagem supervisionada

A aprendizagem supervisionada tem uma ampla gama de aplicações em vários setores. Aqui estão alguns exemplos comuns:

• Detecção de spam: os serviços de e-mail usam classificação binária para decidir se um e-mail deve chegar à sua caixa de entrada ou ser encaminhado para spam.Eles melhoram continuamente em resposta às pessoas que marcam e-mails na pasta de spam como não spam e vice-versa.
• Reconhecimento de imagem: os modelos são treinados em imagens rotuladas para reconhecer e categorizar objetos.Os exemplos incluem o recurso Face ID da Apple, que desbloqueia seu tablet ou dispositivo móvel, reconhecimento óptico de caracteres (OCR) para transformar palavras impressas em texto digital e detecção de objetos para carros autônomos.
• Diagnóstico médico: modelos supervisionados podem prever doenças e sugerir diagnósticos potenciais usando dados de pacientes e registros médicos.Por exemplo, os modelos podem ser treinados para reconhecer tumores cancerígenos em ressonâncias magnéticas ou desenvolver planos de gestão da diabetes.
• Detecção de fraude: As instituições financeiras utilizam aprendizagem supervisionada para identificar transações fraudulentas, analisando padrões em dados de transações rotulados.
• Análise de sentimento: seja medindo reações ou emoções positivas ou negativas, como felicidade ou repulsa, os conjuntos de dados marcados manualmente informam os modelos para interpretar informações, como postagens em mídias sociais, análises de produtos ou resultados de pesquisas.
• Manutenção preditiva: com base em dados históricos de desempenho e fatores ambientais, os modelos podem prever quando as máquinas provavelmente falharão, para que possam ser reparadas ou substituídas antes que isso aconteça.

Vantagens do aprendizado supervisionado

• Preciso e previsível.Supondo que tenham recebido bons dados, os modelos de aprendizado supervisionado tendem a ser mais precisos do que outros métodos de aprendizado de máquina. Modelos mais simples são tipicamente determinísticos, o que significa que uma determinada entrada sempre produzirá a mesma saída.
• Objetivo claro. Graças à supervisão, você sabe o que seu modelo está tentando realizar. Este é um claro contraste com a aprendizagem não supervisionada e auto-supervisionada.
• Fácil de avaliar. Existem diversas medidas de qualidade à sua disposição para julgar a precisão dos modelos de classificação e de regressão.
• Interpretável. Os modelos supervisionados usam técnicas, como regressões e árvores de decisão, que são relativamente simples de serem compreendidas pelos cientistas de dados. A interpretabilidade melhora a confiança dos decisores, especialmente em ambientes de alto impacto e indústrias regulamentadas.

Desvantagens da aprendizagem supervisionada

• Requer dados rotulados.Seus dados devem ter entradas e rótulos claros. Isto é muitas vezes um desafio para o treinamento em classificação, com milhares (se não milhões) de pessoas empregadas para anotar dados manualmente.
• Erros e julgamento inconsistente nos dados de treinamento. Com a rotulagem humana vêm as falácias humanas, como erros, erros de digitação e opiniões diferentes. Este último é um aspecto particularmente desafiador da análise de sentimento; dados de treinamento de sentimentos de alta qualidade normalmente exigem que várias pessoas avaliem um determinado ponto de dados com um resultado registrado apenas se houver acordo.
• Sobreajuste. Freqüentemente, um modelo apresentará cálculos que funcionam muito bem para os dados de treinamento, mas mal com dados que ainda não foram vistos. Um treinador cuidadoso sempre procurará overfitting e usará técnicas para reduzir o impacto.
• Restrito a padrões conhecidos. Se o seu modelo de previsão do preço das ações for baseado apenas em dados de um mercado em alta, ele não será muito preciso quando um mercado em baixa atingir. Da mesma forma, seja sensível às limitações dos dados que você mostrou ao seu modelo e considere se deseja encontrar dados de treinamento que o exporão a mais circunstâncias ou simplesmente ignorar sua saída.