Învățare supravegheată: ce este și cum funcționează

De la recunoașterea imaginilor la filtrarea spam-ului, descoperiți cum învățarea supravegheată alimentează multe dintre aplicațiile AI pe care le întâlnim zilnic în acest ghid informativ.

Cuprins

• Ce este învățarea supravegheată?
• Învățare supravegheată vs. nesupravegheată
• Cum funcționează învățarea supravegheată
• Tipuri de învățare supravegheată
• Aplicații ale învățării supravegheate
• Avantajele învățării supravegheate
• Dezavantajele învățării supravegheate

Ce este învățarea supravegheată?

Învățarea supravegheată este un tip de învățare automată (ML) care antrenează modele folosind date etichetate cu răspunsul corect. Termenulsupravegheatînseamnă că aceste etichete oferă îndrumări clare cu privire la relația dintre intrări și ieșiri. Acest proces ajută modelul să facă predicții precise asupra datelor noi, nevăzute.

Învățarea automată este un subset de inteligență artificială (AI) care utilizează date și metode statistice pentru a construi modele care imită raționamentul uman, mai degrabă decât să se bazeze pe instrucțiuni codificate. Învățarea supravegheată are o abordare ghidată, bazată pe date, pentru a identifica modele și relații în seturile de date etichetate. Extrapolează din evaluările sale pentru a prezice rezultate pentru date noi, nevăzute. Învață comparând predicțiile sale cu etichetele cunoscute și ajustându-și modelul pentru a minimiza erorile.

Învățare supravegheată vs. nesupravegheată

Spre deosebire de învățarea supravegheată, care utilizează date etichetate, învățarea nesupravegheată găsește modele în datele neetichetate.

Fără „supravegherea” oferită de răspunsurile corecte explicite din datele de instruire, învățarea nesupravegheată tratează tot ceea ce vede ca date de analizat pentru modele și grupări. Cele trei tipuri principale sunt:

• Clustering:Această tehnică grupează punctele de date care sunt cele mai adiacente unul altuia. Este util pentru segmentarea clienților sau sortarea documentelor.
• Asociere: Stabilirea momentului în care lucrurile tind să apară în comun, în special pentru a localiza în comun articolele cumpărate frecvent împreună sau pentru a sugera ce să difuzeze în continuare.
• Reducerea dimensionalității: se micșorează seturile de date pentru a fi mai ușor de procesat, păstrând în același timp toate sau majoritatea detaliilor.

Pe de altă parte, învățarea supravegheată are sens atunci când doriți ca modelul să ia decizii. Aplicațiile majore includ:

• Decizii da sau nu:marcarea datelor ca o clasă sau alta. Adesea folosit pentru filtrare, cum ar fi spam-ul sau detectarea fraudei.
• Clasificare: a afla căreia dintre mai multe clase îi aparține ceva, cum ar fi identificarea obiectelor dintr-o imagine sau recunoașterea vorbirii.
• Regresie: estimarea valorilor continue pe baza datelor istorice, cum ar fi prognoza prețurilor caselor sau condițiilor meteorologice.

Alte tipuri de ML se află între acestea două: învățarea semi-supravegheată, de întărire și auto-supravegheată.

Cum funcționează învățarea supravegheată

Învățarea supravegheată implică un proces structurat de alegere și formatare a datelor, rularea modelului și testarea performanței acestuia.

Iată o scurtă prezentare generală a procesului de învățare supravegheată:

1 Etichetare:Datele etichetate sunt esențiale pentru a învăța asocierea corectă între intrări și ieșiri. De exemplu, dacă creați un model pentru a analiza sentimentul în recenziile produselor, începeți prin a solicita evaluatorilor umani să citească recenziile și să le marcheze ca pozitive, negative sau neutre.

2 Colectarea și curățarea datelor:Asigurați-vă că datele dvs. de antrenament sunt complete și reprezentative. Curățați datele eliminând duplicatele, corectând erorile și gestionând orice valori lipsă pentru a le pregăti pentru analiză.

3 Selectarea și extragerea caracteristicilor:Identificați și selectați cele mai influente atribute, făcând modelul mai eficient și mai eficient. Acest pas poate implica, de asemenea, crearea de noi caracteristici din cele existente pentru a capta mai bine modelele care stau la baza datelor, cum ar fi conversia datei de naștere în vârstă.

4 Divizarea datelor:Împărțiți setul de date în seturi de antrenament și de testare. Utilizați setul de antrenament pentru a antrena modelul și setul de testare pentru a vedea cât de bine se generalizează la date noi, nevăzute.

5 Selectarea algoritmului:alegeți un algoritm de învățare supravegheat pe baza sarcinii și a caracteristicilor datelor. De asemenea, puteți rula și compara mai mulți algoritmi pentru a-l găsi pe cel mai bun.

6 Antrenamentul modelului:Antrenați modelul folosind datele pentru a-și îmbunătăți acuratețea predictivă. În timpul acestei faze, modelul învață relația dintre intrări și ieșiri minimizând în mod iterativ eroarea dintre predicțiile sale și etichetele reale furnizate în datele de antrenament. În funcție de complexitatea algoritmului și de dimensiunea setului de date, acest lucru poate dura câteva secunde până la câteva zile.

7 Evaluarea modelului:Evaluarea performanței modelului asigură că acesta produce predicții fiabile și precise asupra datelor noi. Aceasta este o diferență cheie față de învățarea nesupravegheată: deoarece cunoașteți rezultatul așteptat, puteți evalua cât de bine a funcționat modelul.

8 Reglarea modelului:Reglați și antrenați din nou parametrii modelului pentru a regla performanța. Acest proces iterativ, numit reglare hiperparametrică, își propune să optimizeze modelul și să prevină probleme precum supraajustarea. Acest proces trebuie repetat după fiecare ajustare.

9 Implementare și monitorizare:implementați modelul instruit pentru a face predicții asupra datelor noi într-un cadru real. De exemplu, implementați modelul instruit de detectare a spam-ului pentru a filtra e-mailurile, a monitoriza performanța acestuia și a ajusta după cum este necesar.

10 Ajustare fină în timp:pe măsură ce culegeți mai multe date din lumea reală, continuați să antrenați modelul pentru a deveni mai precis și mai relevant.

Tipuri de învățare supravegheată

Există două tipuri principale de învățare supravegheată: clasificarea și regresia. Fiecare tip are propriile sale subtipuri și cazuri de utilizare specifice. Să le explorăm mai detaliat:

Clasificare

Clasificarea implică prezicerea cărei categorii sau clase îi aparține o intrare. Sunt utilizate diferite subtipuri și concepte pentru a gestiona diferite probleme de clasificare. Iată câteva tipuri populare:

• Clasificare binară:modelul prezice una dintre cele două clase posibile. Acest lucru este util atunci când rezultatul este binar, adică există doar două stări sau categorii posibile. Această abordare este utilizată în deciziile în care este necesară o distincție clară.
• Clasificare multi-clasă: Ca și binar, dar cu mai mult de două opțiuni pentru care există un singur răspuns corect. Această abordare este utilizată atunci când există mai multe categorii cărora le poate aparține o intrare.
• Clasificare cu mai multe etichete: Fiecare intrare poate aparține mai multor clase simultan. Spre deosebire de clasificarea binară sau cu mai multe clase, în care fiecare intrare este atribuită unei singure clase, clasificarea cu mai multe etichete permite alocarea mai multor etichete unei singure intrări. Aceasta este o analiză mai complexă, deoarece mai degrabă decât să alegeți oricare dintre clasele căreia este cel mai probabil să aparțină intrarea, trebuie să decideți un prag de probabilitate pentru includere.
• Regresia logistică: O aplicare a regresiei (vezi mai jos) la clasificarea binară. Această abordare vă poate spune mai degrabă încrederea predicției sale decât un simplu asta sau asta.

Există mai multe moduri de a măsura calitatea unui model de clasificare, inclusiv:

• Acuratețe:Câte dintre predicțiile totale au fost corecte?
• Precizie:Câte dintre elementele pozitive sunt de fapt pozitive?
• Amintiți-vă:Câte dintre elementele pozitive reale a marcat ca pozitive?
• Scorul F1:pe o scară de la 0% la 100%, cât de bine echilibrează modelul precizia și amintirea?

Regresia

Regresia implică prezicerea unei valori continue pe baza caracteristicilor de intrare, producând un număr care poate fi numit și predicție. Sunt utilizate diferite tipuri de modele de regresie pentru a surprinde relațiile dintre aceste caracteristici de intrare și ieșirea continuă. Iată câteva tipuri populare:

• Regresia liniară:Modelează relația dintre caracteristicile de intrare și ieșire ca o linie dreaptă. Modelul presupune o relație liniară între variabila dependentă (ieșirea) și variabilele independente (intrarile). Scopul este de a găsi linia cea mai potrivită prin punctele de date care minimizează diferența dintre valorile prezise și cele reale.
• Regresia polinomială: mai complexă decât regresia liniară, deoarece utilizează polinoame, cum ar fi pătratul și cub, pentru a capta relații mai complexe între variabilele de intrare și de ieșire. Modelul poate potrivi date neliniare folosind acești termeni de ordin superior.
• Regresia Ridge și lasso: abordează problema supraajustării, care este tendința unui model de a citi prea mult în datele pe care este antrenat în detrimentul generalizării. Regresia crestei reduce sensibilitatea modelului la detaliile mici, in timp ce regresia lazo elimina caracteristicile mai putin importante din considerare.

Cele mai multe măsurători ale calității regresiei au de-a face cu cât de departe sunt predicțiile de valorile reale. Întrebările la care răspund sunt:

• Eroare absolută medie:în medie, cât de departe sunt predicțiile de valorile reale?
• Eroare pătratică medie:cât de mult cresc erorile atunci când erorile mai mari sunt mai semnificative?
• Eroare pătrată medie: cât de mult determină erorile mari să devieze predicțiile de la valorile reale?
• R-pătrat: cât de bine se potrivește regresia datelor?

Aplicații ale învățării supravegheate

Învățarea supravegheată are o gamă largă de aplicații în diverse industrii. Iată câteva exemple comune:

• Detectarea spamului:serviciile de e-mail folosesc clasificarea binară pentru a decide dacă un e-mail ar trebui să ajungă în căsuța dvs. de e-mail sau să fie direcționat către spam. Se îmbunătățesc continuu ca răspuns la persoanele care marchează e-mailurile din dosarul de spam ca nu spam și invers.
• Recunoașterea imaginilor:modelele sunt instruite pe imagini etichetate pentru a recunoaște și clasifica obiectele. Printre exemple se numără funcția Apple Face ID, care vă deblochează tableta sau dispozitivul mobil, recunoașterea optică a caracterelor (OCR) pentru transformarea cuvintelor tipărite în text digital și detectarea obiectelor pentru mașinile cu conducere autonomă.
• Diagnostic medical:modelele supravegheate pot prezice boli și pot sugera diagnostice potențiale folosind datele pacienților și fișele medicale. De exemplu, modelele pot fi antrenate pentru a recunoaște tumorile canceroase în RMN sau pentru a dezvolta planuri de gestionare a diabetului.
• Detectarea fraudei:instituțiile financiare folosesc învățarea supravegheată pentru a identifica tranzacțiile frauduloase prin analizarea tiparelor din datele tranzacțiilor etichetate.
• Analiza sentimentelor:indiferent dacă măsoară reacții pozitive sau negative sau emoții, cum ar fi fericirea sau dezgustul, seturile de date etichetate manual informează modelele pentru a interpreta input-ul, cum ar fi postările pe rețelele sociale, recenziile produselor sau rezultatele sondajului.
• Întreținere predictivă:Pe baza datelor istorice de performanță și a factorilor de mediu, modelele pot prezice când este probabil să se defecteze mașinile, astfel încât să poată fi reparate sau înlocuite înainte de a face acest lucru.

Avantajele învățării supravegheate

• Exact și previzibil.Presupunând că li s-au oferit date bune, modelele de învățare supravegheată tind să fie mai precise decât alte metode de învățare automată. Modelele mai simple sunt de obicei deterministe, ceea ce înseamnă că o intrare dată va produce întotdeauna aceeași ieșire.
• Obiectiv clar. Datorită supravegherii, știi ce încearcă modelul tău să realizeze. Acesta este un contrast clar cu învățarea nesupravegheată și autosupravegheată.
• Ușor de evaluat. Există mai multe măsuri de calitate la dispoziție pentru a evalua acuratețea modelelor de clasificare și regresie.
• Interpretabil. Modelele supravegheate folosesc tehnici, cum ar fi regresiile și arborii de decizie, care sunt relativ simple de înțeles pentru oamenii de știință de date. Interpretabilitatea îmbunătățește încrederea factorilor de decizie, în special în mediile cu impact ridicat și în industriile reglementate.

Dezavantajele învățării supravegheate

• Necesită date etichetate.Datele dvs. trebuie să aibă intrări și etichete clare. Aceasta este adesea o provocare pentru formarea în clasificare, cu multe mii (dacă nu milioane) de oameni angajați pentru adnotarea manuală a datelor.
• Erori și judecată inconsecventă în datele de antrenament. Odată cu etichetarea umană, apar erori umane, cum ar fi erorile, greșelile de scriere și opiniile diferite. Acesta din urmă este un aspect deosebit de provocator al analizei sentimentelor; datele de instruire a sentimentelor de înaltă calitate necesită de obicei mai multe persoane să evalueze un anumit punct de date, cu un rezultat înregistrat numai dacă există acord.
• Supramontare. Adesea, un model va veni cu calcule care funcționează foarte bine pentru datele de antrenament, dar slab cu datele pe care încă nu le-a văzut. Un antrenor atent va căuta întotdeauna supraadaptarea și va folosi tehnici pentru a reduce impactul.
• Limitat la modele cunoscute. Dacă modelul dvs. de predicție a prețului acțiunilor se bazează numai pe date de pe o piață bull, nu va fi foarte precis odată ce piața urs va ajunge. În consecință, fiți sensibil la limitările datelor pe care le-ați arătat modelului dvs. și luați în considerare dacă să găsiți date de antrenament care să le expună la mai multe circumstanțe sau pur și simplu să ignorați rezultatul acestuia.