Învățare supravegheată vs. nesupravegheată: diferențe, beneficii și cazuri de utilizare

Învățarea automată (ML) alimentează multe tehnologii pe care ne bazăm zilnic, cum ar fi recunoașterea imaginilor și vehiculele autonome. Două abordări fundamentale – învățarea supravegheată și nesupravegheată – formează coloana vertebrală a acestor sisteme. Deși ambele sunt esențiale pentru formarea modelelor ML, ele diferă în metodologie, obiective și aplicații.

În acest ghid, vom compara aceste două abordări, le vom evidenția diferențele și le vom explora beneficiile și provocările. Vom explora, de asemenea, aplicații practice pentru a vă ajuta să înțelegeți care este cel mai potrivit pentru diferite sarcini.

Cuprins

• Ce este învățarea supravegheată?
• Ce este învățarea nesupravegheată?
• Supravegheat vs. nesupravegheat: diferențe cheie
• Beneficiile învățării supravegheate și nesupravegheate
• Provocări ale învățării supravegheate și nesupravegheate
• Aplicații ale învățării supravegheate și nesupravegheate
• Concluzie

Ce este învățarea supravegheată?

Învățarea supravegheată antrenează sisteme ML folosind date etichetate. În acest context, „etichetat” înseamnă că fiecare exemplu de antrenament este asociat cu o ieșire cunoscută. Aceste etichete, adesea create de experți, ajută sistemul să învețe relațiile dintre intrări și ieșiri. Odată instruite, sistemele supravegheate pot aplica aceste relații învățate la date noi, nevăzute, pentru a face predicții sau clasificări.

De exemplu, în contextul mașinilor cu conducere autonomă, un sistem de învățare supravegheat ar putea analiza datele video etichetate. Aceste adnotări identifică semnele stradale, pietonii și obstacolele, permițând sistemului să recunoască și să răspundă la caracteristici similare în scenariile de conducere din lumea reală.

Algoritmii de învățare supravegheată se împart în două categorii principale:

• Clasificare: acești algoritmi atribuie etichete datelor noi, cum ar fi identificarea e-mailurilor ca spam sau non-spam.
• Regresie: acești algoritmi prezic valori continue, cum ar fi prognozarea vânzărilor viitoare pe baza performanței anterioare.

Pe măsură ce seturile de date cresc și resursele de calcul se îmbunătățesc, sistemele supravegheate devin mai precise și mai eficiente, susținând aplicații precum detectarea fraudelor și diagnosticarea medicală.

Ce este învățarea nesupravegheată?

Învățarea nesupravegheată, în schimb, analizează datele fără exemple etichetate, bazându-se pe algoritmi statistici pentru a descoperi modele sau relații ascunse. Spre deosebire de sistemele supravegheate, aceste modele deduc structura și își actualizează rezultatele în mod dinamic pe măsură ce noi informații devin disponibile. În timp ce învățarea nesupravegheată excelează la descoperirea modelelor, este de obicei mai puțin eficientă pentru sarcinile predictive.

Un exemplu practic sunt serviciile de agregare de știri. Aceste sisteme grupează articole și postări pe rețelele sociale despre un eveniment de știri de ultimă oră fără etichetare externă. Prin identificarea punctelor comune în timp real, aceștia învață nesupravegheat pentru a evidenția poveștile cheie.

Iată câțiva algoritmi specializați de învățare nesupravegheată:

• Clustering:Acestea sunt folosite pentru a segmenta consumatorii și pentru a ajusta segmentele pe măsură ce comportamentele se schimbă.
• Asociere:Acestea detectează modele în date, cum ar fi identificarea anomaliilor care ar putea indica încălcări de securitate.
• Reducerea dimensionalității: Acestea simplifică structurile de date, păstrând în același timp informațiile critice și sunt adesea folosite pentru comprimarea și vizualizarea seturi de date complexe.

Învățarea nesupravegheată este parte integrantă a analizei exploratorii a datelor și a descoperirii de perspective în scenariile în care datele etichetate nu sunt disponibile.

Supravegheat vs nesupravegheat: diferențe cheie

Învățarea supravegheată și nesupravegheată servesc roluri distincte în ML. Aceste abordări diferă în ceea ce privește cerințele de date, implicarea umană, sarcini și aplicații. Tabelul de mai jos evidențiază aceste diferențe, pe care le vom explora în continuare.

Diferențele în timpul fazei de antrenament

Diferența principală dintre cele două tipuri de algoritmi este tipul de seturi de date de care depind. Învățarea supravegheată beneficiază de seturi mari de date etichetate. În consecință, cele mai avansate sisteme supravegheate depind de forța umană pe scară largă, nespecializată, pentru a verifica datele și a genera etichete. De asemenea, datele etichetate necesită, de obicei, mai multe resurse pentru procesare, astfel încât sistemele supravegheate nu pot procesa atât de multe date la capătul superior al scalei.

Sistemele de învățare nesupravegheate pot începe să fie eficiente cu seturi de date mai mici și pot procesa cantități mult mai mari de date cu aceleași resurse. Datele lor sunt mai ușor de obținut și procesat, deoarece nu depind de forța umană pe scară largă, nespecializată. Ca un compromis, sistemele nu ating de obicei un grad la fel de mare de precizie în sarcinile de predicție și depind adesea de munca specializată pentru a deveni eficiente. În loc să fie utilizate acolo unde acuratețea este crucială, acestea sunt mai frecvent utilizate pentru a deduce și actualiza modele în date, la scară și pe măsură ce datele se schimbă.

Diferențele la desfășurare

Aplicațiile de învățare supravegheată au de obicei un mecanism încorporat pentru a obține mai multe date etichetate la scară. De exemplu, este ușor pentru utilizatorii de e-mail să marcheze dacă mesajele primite sunt spam sau nu. Un furnizor de e-mail poate acumula mesajele marcate într-un set de instruire și apoi poate antrena sisteme de regresie logistică pentru detectarea spam-ului. Ei fac schimb de formare mai lungă și mai intensivă în resurse pentru luarea deciziilor mai rapidă atunci când sunt implementate. Pe lângă sistemele de regresie logistică, alți algoritmi obișnuiți de antrenament supravegheat includ arbori de decizie și rețele neuronale, care sunt utilizate în mod omniprezent pentru a prezice și a lua decizii și pentru recunoașterea modelelor complexe.

Sistemele nesupravegheate se disting atunci când sunt aplicate problemelor care implică cantități mari de date nestructurate. Ele pot detecta modele în date, chiar și atunci când sunt tranzitorii și trebuie detectate înainte de finalizarea antrenamentului pentru învățarea supravegheată. De exemplu, algoritmii de grupare, un tip de sistem de învățare nesupravegheat, pot detecta și actualiza segmente de consumatori pe măsură ce tendințele se schimbă. Dacă tendințele se schimbă către modele noi și nevăzute, ele rămân relevante fără a necesita timp de nefuncționare pentru recalificare.

Un exemplu de învățare nesupravegheată este utilizarea analizei componentelor principale (PCA) în finanțe. PCA este un algoritm care poate fi aplicat grupurilor de investiții la scară și ajută la deducerea și actualizarea proprietăților emergente ale grupului. Acestea includ indicatori financiari importanți, cum ar fi cele mai importante surse de risc investițional și factori care pot avea un impact asupra randamentelor. Alte tipuri comune de sisteme de învățare nesupravegheate sunt autoencoderele, care comprimă și simplifică datele, adesea ca pas pregătitor înainte ca alți algoritmi ML să fie aplicați.

Beneficiile învățării supravegheate și nesupravegheate

Atât sistemele supravegheate, cât și cele nesupravegheate sunt utile pentru procesarea datelor la o scară și o viteză care le depășesc pe cele ale oamenilor neajutorați. Cu toate acestea, ele sunt cele mai potrivite pentru diferite aplicații. Mai jos, comparăm câteva dintre principalele lor beneficii.

Sisteme supravegheate

• Excel când există date istorice semnificative disponibile
• Sunt mult mai bune decât sistemele nesupravegheate pentru formarea datelor cu structură, caracteristici și modele cunoscute
• Sunt ideale pentru detectarea și aplicarea caracteristicilor cunoscute ale datelor la scară
• Poate produce rezultate care sunt înțelese și au sens intuitiv pentru oameni
• Poate avea o precizie mai mare pentru datele noi și nevăzute
• Poate face predicții mai rapid și la o scară mai mare decât sistemele nesupravegheate

Sisteme nesupravegheate

• Sunt deosebit de buni în identificarea structurilor și relațiilor nevăzute anterior sau necunoscute în date
• Faceți bine atunci când datele sunt mai puțin structurate și proprietățile lor sunt mai puțin cunoscute
• Lucrați în anumite condiții în care sistemele supravegheate nu funcționează bine (de exemplu, în situațiile în care datele nu sunt disponibile sau în care acestea sunt disponibile, dar nu au fost procesate de oameni)
• Necesită mai puține resurse și mai puțin timp în timpul instruirii decât sistemele supravegheate pentru cantități echivalente de date
• Poate fi instruit și utilizat atunci când există prea multe date pentru a fi procesate bine cu sistemele supravegheate

Provocări ale învățării supravegheate și nesupravegheate

Sistemele supravegheate și cele nesupravegheate fac fiecare compromisuri diferite, iar provocările cu care se confruntă sunt uneori destul de diferite. Subliniem mai jos câteva dintre principalele diferențe.

Sisteme supravegheate

• Necesită acces la cantități mari de date prelucrate de om, care sunt doar uneori disponibile sau ușor de obținut
• Adesea au faze de antrenament mai lungi și mai intensive în resurse
• Poate avea dificultăți să se adapteze rapid dacă caracteristicile de bază ale datelor se schimbă
• Faceți față provocărilor atunci când procesați date inerent nestructurate, cum ar fi video sau audio

Sisteme nesupravegheate

• Va detecta mai frecvent modele care nu se generalizează bine la exemplele de date noi
• Poate fi dificil de realizat la fel de precis ca sistemele supravegheate
• Ele produc rezultate greu de interpretat de către oameni, iar interpretările acestor rezultate pot fi mai subiective.
• Poate lua mai mult timp și resurse pentru fiecare predicție făcută în lumea reală

Aplicații ale învățării supravegheate și nesupravegheate

Unele aplicații și probleme sunt soluționate cel mai bine cu sisteme de învățare supravegheată, altele sunt cel mai bine cu sisteme nesupravegheate și unele se descurcă cel mai bine folosind un amestec. Iată trei exemple binecunoscute.

Sisteme mixte de învățare și învățare semi-supravegheată

Este important de reținut că majoritatea aplicațiilor din viața reală folosesc o combinație de modele supravegheate și nesupravegheate. Sistemele de învățare sunt adesea combinate pe baza unor lucruri precum buget, disponibilitatea datelor, cerințele de performanță și complexitatea ingineriei. Ocazional, ar putea fi folosit și un subset specializat de algoritmi de învățare care încearcă să îmbine beneficiile ambelor abordări – învățarea semi-supravegheată. În exemplele de mai jos, denumim sistemul cel mai probabil sau principal care este probabil să fie utilizat.

Predicția traficului (supravegheată)

Previziunea traficului este o sarcină dificilă. Din fericire, sunt disponibile o mulțime de date etichetate, deoarece orașele auditează și înregistrează în mod regulat volumele de trafic rutier. Algoritmii de regresie, un tip de învățare supravegheată, sunt ușor de aplicat acestor date și pot produce predicții destul de precise ale fluxurilor de trafic. Predicțiile lor pot ajuta la luarea deciziilor în legătură cu construirea drumurilor, semnalizarea rutieră și amplasarea semafoarelor. Algoritmii nesupravegheați sunt mai puțin eficienți în această fază. Ele pot fi, totuși, rulate pe datele de trafic, deoarece acestea se acumulează după implementarea unei modificări a structurii drumului. În acel moment, ele ajută la identificarea și deducerea automată dacă ar putea apărea probleme noi și nevăzute anterior.

Agrupare genetică (nesupravegheată)

Analiza datelor genetice poate fi lentă și greoaie, deoarece volumele de date sunt mari și majoritatea datelor nu sunt bine analizate. Adesea nu știm prea multe despre ce conțin datele genetice - unde genele și alte componente genetice ar putea fi stocate în genom, cum sunt decodificate și interpretate etc. Algoritmii nesupravegheați sunt deosebit de relevanți pentru această problemă, deoarece pot procesa cantități mari. de date și deduce automat ce tipare conține. De asemenea, pot ajuta la colectarea de informații genetice asemănătoare în grupuri separate. Odată ce datele genetice sunt grupate pe baza similitudinii, clusterele pot fi procesate și testate cu ușurință pentru a identifica ce funcție biologică (dacă există) le servesc.

LLM și învățare prin consolidare (mixt)

Modelele lingvistice mari (LLM) sunt un exemplu de aplicație care combină sisteme de învățare nesupravegheate și supravegheate. Sistemul inițial, LLM, este de obicei un exemplu de sistem nesupravegheat. Pentru a produce un LLM, datele la scară largă sunt analizate (să zicem, tot textul în limba engleză disponibil pe internet) printr-un sistem nesupravegheat. Sistemul deduce multe modele din date și dezvoltă reguli de bază pentru conversația în limba engleză.

Cu toate acestea, concluziile pe care le face un LLM nu fac o treabă bună în a-l ajuta să sune ca un om tipic în conversație. De asemenea, nu ajută să ia în considerare preferințele individuale pentru comunicare. Un sistem supravegheat – în special, un sistem de întărire care utilizează feedback adnotat de la utilizatori (numit învățare de întărire din feedback uman, sau pe scurt RLHF) – este o modalitate de a rezolva această problemă. RLHF poate fi aplicat unui LLM deja instruit pentru a-l ajuta să vorbească bine cu oamenii în general. De asemenea, poate învăța preferințele individuale și poate vorbi în moduri pe care le preferă o anumită persoană.

Concluzie

Pe scurt, învățarea supravegheată și nesupravegheată sunt două subseturi fundamentale ale ML, fiecare oferind puncte forte unice. Învățarea supravegheată excelează în scenarii cu date etichetate abundente, resurse suficiente pentru formarea inițială și necesitatea de luare a deciziilor rapidă și scalabilă. Pe de altă parte, învățarea nesupravegheată strălucește atunci când se descoperă structuri și relații ascunse în date, în special atunci când datele etichetate sau resursele de formare sunt limitate și luarea deciziilor poate găzdui mai mult timp și complexitate. Înțelegând avantajele, provocările și cazurile de utilizare ale ambelor abordări, puteți lua decizii informate despre când și cum să le aplicați în mod eficient.