Apprendimento supervisionato: cos'è e come funziona

Dal riconoscimento delle immagini al filtraggio dello spam, scopri in questa guida informativa come l'apprendimento supervisionato potenzia molte delle applicazioni di intelligenza artificiale che incontriamo quotidianamente.

Sommario

• Cos’è l’apprendimento supervisionato?
• Apprendimento supervisionato e non supervisionato
• Come funziona l'apprendimento supervisionato
• Tipi di apprendimento supervisionato
• Applicazioni dell'apprendimento supervisionato
• Vantaggi dell'apprendimento supervisionato
• Svantaggi dell’apprendimento supervisionato

Cos’è l’apprendimento supervisionato?

L'apprendimento supervisionato è un tipo di machine learning (ML) che addestra modelli utilizzando dati etichettati con la risposta corretta. Il terminesupervisionatosignifica che queste etichette forniscono indicazioni chiare sulla relazione tra input e output. Questo processo aiuta il modello a fare previsioni accurate su dati nuovi e invisibili.

L'apprendimento automatico è un sottoinsieme dell'intelligenza artificiale (AI) che utilizza dati e metodi statistici per costruire modelli che imitano il ragionamento umano anziché fare affidamento su istruzioni codificate. L'apprendimento supervisionato adotta un approccio guidato e basato sui dati per identificare modelli e relazioni in set di dati etichettati. Estrapola dalle sue valutazioni per prevedere i risultati di dati nuovi e invisibili. Impara confrontando le sue previsioni con le etichette conosciute e adattando il suo modello per ridurre al minimo gli errori.

Apprendimento supervisionato e non supervisionato

A differenza dell’apprendimento supervisionato, che utilizza dati etichettati, l’apprendimento non supervisionato trova modelli nei dati non etichettati.

Senza la “supervisione” fornita da risposte esplicite giuste nei dati di addestramento, l’apprendimento non supervisionato tratta tutto ciò che vede come dati da analizzare per modelli e raggruppamenti. Le tre tipologie principali sono:

• Clustering:questa tecnica raggruppa i punti dati più adiacenti tra loro. È utile per la segmentazione dei clienti o l'ordinamento dei documenti.
• Associazione: determinare quando le cose tendono a verificarsi contemporaneamente, in particolare per co-localizzare gli articoli acquistati di frequente insieme o suggerire cosa trasmettere in streaming successivamente.
• Riduzione della dimensionalità: riduzione dei set di dati per renderli più facili da elaborare preservando tutti o la maggior parte dei dettagli.

D’altra parte, l’apprendimento supervisionato ha senso quando si desidera che sia il modello a prendere decisioni. Le principali applicazioni includono:

• Decisioni sì o no:contrassegnare i dati come una classe o un'altra. Spesso utilizzato per filtraggio come spam o rilevamento di frodi.
• Classificazione: capire a quale delle diverse classi appartiene qualcosa, come identificare oggetti all'interno di un'immagine o riconoscere un parlato.
• Regressione: previsione di valori continui basati su dati storici, come la previsione dei prezzi delle case o delle condizioni meteorologiche.

Altri tipi di ML si collocano tra questi due: apprendimento semi-supervisionato, rinforzo e auto-supervisionato.

Come funziona l'apprendimento supervisionato

L'apprendimento supervisionato prevede un processo strutturato di scelta e formattazione dei dati, esecuzione del modello e test delle sue prestazioni.

Ecco una breve panoramica del processo di apprendimento supervisionato:

1 Etichettatura:i dati etichettati sono essenziali per apprendere la corretta associazione tra input e output. Ad esempio, se stai creando un modello per analizzare il sentiment nelle recensioni dei prodotti, inizia facendo leggere le recensioni a valutatori umani e contrassegnandole come positive, negative o neutre.

2 Raccolta e pulizia dei dati:assicurati che i dati di allenamento siano completi e rappresentativi. Pulisci i dati rimuovendo i duplicati, correggendo gli errori e gestendo eventuali valori mancanti per prepararli per l'analisi.

3 Selezione ed estrazione delle funzionalità:identificare e selezionare gli attributi più influenti, rendendo il modello più efficiente ed efficace. Questo passaggio potrebbe anche comportare la creazione di nuove funzionalità da quelle esistenti per catturare meglio i modelli sottostanti nei dati, come la conversione della data di nascita in età.

4 Suddivisione dei dati:dividere il set di dati in set di training e test. Utilizza il set di training per addestrare il modello e il set di test per vedere quanto bene si generalizza a dati nuovi e invisibili.

5 Selezione dell'algoritmo:scegli un algoritmo di apprendimento supervisionato in base all'attività e alle caratteristiche dei dati. Puoi anche eseguire e confrontare più algoritmi per trovare quello migliore.

6 Addestramento del modello:addestrare il modello utilizzando i dati per migliorarne l'accuratezza predittiva. Durante questa fase, il modello apprende la relazione tra input e output riducendo al minimo in modo iterativo l'errore tra le sue previsioni e le etichette effettive fornite nei dati di addestramento. A seconda della complessità dell'algoritmo e delle dimensioni del set di dati, l'operazione potrebbe richiedere da pochi secondi a giorni.

7 Valutazione del modello:la valutazione delle prestazioni del modello garantisce che produca previsioni affidabili e accurate sui nuovi dati. Questa è una differenza fondamentale rispetto all'apprendimento non supervisionato: poiché conosci l'output atteso, puoi valutare il rendimento del modello.

8 Ottimizzazione del modello:regola e riqualifica i parametri del modello per ottimizzare le prestazioni. Questo processo iterativo, chiamato ottimizzazione degli iperparametri, mira a ottimizzare il modello e prevenire problemi come l'overfitting. Questo processo dovrebbe essere ripetuto dopo ogni regolazione.

9 Distribuzione e monitoraggio:distribuire il modello addestrato per fare previsioni sui nuovi dati in un contesto reale. Ad esempio, distribuisci il modello di rilevamento dello spam addestrato per filtrare le e-mail, monitorarne le prestazioni e apportare modifiche secondo necessità.

10 Ottimizzazione nel tempo:man mano che raccogli più dati dal mondo reale, continua ad addestrare il modello per diventare più accurato e pertinente.

Tipi di apprendimento supervisionato

Esistono due tipi principali di apprendimento supervisionato: classificazione e regressione. Ogni tipo ha i propri sottotipi e casi d'uso specifici. Esploriamoli più nel dettaglio:

Classificazione

La classificazione implica prevedere a quale categoria o classe appartiene un input. Vari sottotipi e concetti vengono utilizzati per gestire diversi problemi di classificazione. Ecco alcuni tipi popolari:

• Classificazione binaria:il modello prevede una delle due possibili classi. Ciò è utile quando il risultato è binario, ovvero ci sono solo due stati o categorie possibili. Questo approccio viene utilizzato nelle decisioni in cui è necessaria una chiara distinzione.
• Classificazione multiclasse: come quella binaria, ma con più di due scelte per le quali esiste una sola risposta giusta. Questo approccio viene utilizzato quando sono presenti più categorie a cui può appartenere un input.
• Classificazione multi-etichetta: ogni input può appartenere a più classi contemporaneamente. A differenza della classificazione binaria o multiclasse, in cui ogni input è assegnato a una singola classe, la classificazione multietichetta consente di assegnare più etichette a un singolo input. Questa è un'analisi più complessa perché invece di limitarsi a scegliere la classe a cui è più probabile che l'input appartenga, è necessario decidere una soglia di probabilità per l'inclusione.
• Regressione logistica: un'applicazione della regressione (vedi sotto) alla classificazione binaria. Questo approccio può dirti la confidenza della sua previsione piuttosto che un semplice questo o quello.

Esistono diversi modi per misurare la qualità di un modello di classificazione, tra cui:

• Precisione:quante previsioni totali erano corrette?
• Precisione:quanti dei positivi sono effettivamente positivi?
• Richiamo:quanti degli aspetti positivi effettivi sono stati contrassegnati come positivi?
• Punteggio F1:su una scala da 0% a 100%, quanto bene il modello bilancia precisione e richiamo?

Regressione

La regressione implica la previsione di un valore continuo in base alle caratteristiche di input, producendo un numero che può anche essere chiamato previsione. Vari tipi di modelli di regressione vengono utilizzati per catturare le relazioni tra queste caratteristiche di input e l'output continuo. Ecco alcuni tipi popolari:

• Regressione lineare:modella la relazione tra le caratteristiche di input e l'output come una linea retta. Il modello presuppone una relazione lineare tra la variabile dipendente (l'output) e le variabili indipendenti (gli input). L'obiettivo è trovare la linea più adatta attraverso i punti dati che riduca al minimo la differenza tra i valori previsti e quelli effettivi.
• Regressione polinomiale: più complessa della regressione lineare perché utilizza polinomi come quelli al quadrato e al cubo per catturare relazioni più complesse tra le variabili di input e di output. Il modello può adattare dati non lineari utilizzando questi termini di ordine superiore.
• Regressione cresta e lazo: risolve il problema dell'overfitting, ovvero la tendenza di un modello a leggere troppo nei dati su cui è addestrato a scapito della generalizzazione. La regressione della cresta riduce la sensibilità del modello ai piccoli dettagli, mentre la regressione del lazo elimina dalla considerazione le caratteristiche meno importanti.

La maggior parte delle misurazioni della qualità della regressione hanno a che fare con la distanza delle previsioni dai valori effettivi. Le domande a cui rispondono sono:

• Errore medio assoluto:in media, quanto sono lontane le previsioni dai valori effettivi?
• Errore quadratico medio:quanto crescono gli errori quando gli errori più grandi sono più significativi?
• Errore quadratico medio: in che misura gli errori più grandi causano una deviazione delle previsioni dai valori effettivi?
• R quadrato: quanto bene la regressione si adatta ai dati?

Applicazioni dell'apprendimento supervisionato

L’apprendimento supervisionato ha una vasta gamma di applicazioni in vari settori. Ecco alcuni esempi comuni:

• Rilevamento dello spam:i servizi di posta elettronica utilizzano la classificazione binaria per decidere se un'email deve raggiungere la posta in arrivo o essere indirizzata allo spam. Migliorano continuamente in risposta alle persone che contrassegnano le email nella cartella spam come non spam e viceversa.
• Riconoscimento delle immagini:i modelli vengono addestrati su immagini etichettate per riconoscere e classificare gli oggetti. Gli esempi includono la funzionalità Face ID di Apple, che sblocca il tablet o il dispositivo mobile, il riconoscimento ottico dei caratteri (OCR) per trasformare le parole stampate in testo digitale e il rilevamento di oggetti per le auto a guida autonoma.
• Diagnosi medica:i modelli supervisionati possono prevedere malattie e suggerire potenziali diagnosi utilizzando i dati dei pazienti e le cartelle cliniche. Ad esempio, i modelli possono essere addestrati per riconoscere i tumori cancerosi nella risonanza magnetica o sviluppare piani di gestione del diabete.
• Rilevamento delle frodi:gli istituti finanziari utilizzano l’apprendimento supervisionato per identificare le transazioni fraudolente analizzando i modelli nei dati delle transazioni etichettati.
• Analisi del sentiment:sia che si misurino reazioni positive o negative o emozioni come felicità o disgusto, i set di dati taggati manualmente informano i modelli per interpretare input come post sui social media, recensioni di prodotti o risultati di sondaggi.
• Manutenzione predittiva:sulla base dei dati storici sulle prestazioni e dei fattori ambientali, i modelli possono prevedere quando è probabile che le macchine si guastino, in modo che possano essere riparate o sostituite prima che ciò accada.

Vantaggi dell'apprendimento supervisionato

• Preciso e prevedibile.Supponendo che abbiano ricevuto dati validi, i modelli di apprendimento supervisionato tendono ad essere più accurati rispetto ad altri metodi di apprendimento automatico. I modelli più semplici sono tipicamente deterministici, il che significa che un dato input produrrà sempre lo stesso output.
• Obiettivo chiaro. Grazie alla supervisione, sai cosa sta cercando di realizzare il tuo modello. Questo è in chiaro contrasto con l’apprendimento non supervisionato e auto-supervisionato.
• Facile da valutare. Sono disponibili diverse misure di qualità per valutare l'accuratezza dei modelli di classificazione e di regressione.
• Interpretabile. I modelli supervisionati utilizzano tecniche, come regressioni e alberi decisionali, che sono relativamente semplici da comprendere per i data scientist. L’interpretabilità migliora la fiducia dei decisori, soprattutto in contesti ad alto impatto e nelle industrie regolamentate.

Svantaggi dell’apprendimento supervisionato

• Richiede dati etichettati.I tuoi dati devono avere input ed etichette chiari. Questa è spesso una sfida per la formazione sulla classificazione, con molte migliaia (se non milioni) di persone impiegate per annotare manualmente i dati.
• Errori e giudizi incoerenti nei dati di addestramento. Con l’etichettatura umana arrivano gli errori umani, come errori, errori di battitura e opinioni diverse. Quest’ultimo è un aspetto particolarmente impegnativo dell’analisi del sentiment; i dati di formazione sul sentiment di alta qualità richiedono in genere che più persone valutino un dato punto dati con un risultato registrato solo se c'è accordo.
• Adattamento eccessivo. Spesso un modello fornisce calcoli che funzionano molto bene per i dati di addestramento ma male con i dati che non ha ancora visto. Un allenatore attento cercherà sempre l'eccessivo adattamento e utilizzerà tecniche per ridurre l'impatto.
• Limitato a modelli conosciuti. Se il tuo modello di previsione del prezzo delle azioni si basa solo sui dati di un mercato rialzista, non sarà molto accurato una volta che si verifica un mercato ribassista. Di conseguenza, sii sensibile ai limiti dei dati che hai mostrato al tuo modello e valuta se trovare dati di addestramento che lo esporranno a più circostanze o semplicemente ignorarne l'output.