Învățare auto-supravegheată: ce este și cum funcționează

Învățarea auto-supravegheată, o tehnică de ultimă oră în inteligența artificială, dă putere mașinilor să descopere modele și structuri intrinseci în cadrul datelor, imitând capacitatea umană de a învăța din context și experiență, mai degrabă decât prin instrucțiuni explicite.

Cuprins

• Ce este învățarea auto-supravegheată?
• Autosupravegheat în comparație cu alte tipuri de învățare automată
• Cum funcționează învățarea autosupravegheată
• Tipuri de învățare autosupravegheată
• Aplicații ale învățării autosupravegheate
• Avantajele învățării autosupravegheate
• Dezavantajele învățării autosupravegheate

Ce este învățarea auto-supravegheată?

Învățarea auto-supravegheată este un tip de învățare automată (ML) care antrenează modele pentru a-și crea propriile etichete, adică intrări și ieșiri asociate în mod explicit, folosind date brute, neetichetate. Spre deosebire de învățarea supravegheată, care necesită o cantitate semnificativă de date etichetate, învățarea autosupravegheată generează pseudo-etichete (etichete artificiale) din datele în sine. Această tehnică oferă modelului orientarea obiectivului și măsurabilitatea unei abordări de învățare supravegheată, plus capacitatea învățării nesupravegheate de a face concluzii utile din cantități masive de date neetichetate.

Învățarea automată este un subset de inteligență artificială (AI) care utilizează date și metode statistice pentru a construi modele care imită raționamentul uman, mai degrabă decât să se bazeze pe instrucțiuni codificate. Învățarea auto-supravegheată folosește cantitățile mari de date fără etichetare disponibile, ceea ce o face o abordare puternică pentru îmbunătățirea performanței modelului cu intervenție manuală minimă. De fapt, modelele majore de text și imagini AI generative de astăzi sunt în mare măsură antrenate folosind învățarea auto-supravegheată.

Autosupravegheat în comparație cu alte tipuri de învățare automată

Învățarea auto-supravegheată combină elemente atât ale învățării supravegheate, cât și ale învățării nesupravegheate, dar este diferită de învățarea semi-supravegheată:

• Învățare supravegheată: utilizează date etichetate pentru a antrena modele pentru sarcini specifice, cum ar fi clasificarea și regresia. Etichetele oferă îndrumări explicite, permițând modelului să facă predicții precise. Aplicațiile comune includ detectarea spam-ului, clasificarea imaginilor și prognoza meteo.
• Învățare nesupravegheată: funcționează cu date neetichetate pentru a găsi modele și grupări. Identifică clustere și asocieri și reduce complexitatea datelor pentru o procesare mai ușoară. Exemplele includ segmentarea clienților, sistemele de recomandare și detectarea anomaliilor.
• Învățare semi-supravegheată:folosește o cantitate modestă de date etichetate pentru a oferi îndrumări inițiale și apoi folosește una sau mai multe colecții mai mari de date neetichetate pentru a rafina și a îmbunătăți modelul. Această abordare este deosebit de utilă atunci când aveți niște date etichetate, dar ar fi prea dificil sau costisitor să generați suficient pentru o învățare complet supravegheată.
• Învățare auto-supravegheată:folosește date brute pentru a-și genera propriile etichete, permițând modelului să învețe din date fără date inițiale etichetate. Această abordare este deosebit de valoroasă atunci când datele etichetate nu sunt disponibile deloc sau reprezintă doar o mică parte din datele disponibile, cum ar fi procesarea limbajului natural (NLP) sau recunoașterea imaginilor.

Cum funcționează învățarea autosupravegheată

Autosupravegherea înseamnă că datele în sine oferă răspunsurile corecte. Procesul de învățare autosupravegheat implică mai mulți pași, combinând aspecte atât ale metodelor supravegheate, cât și ale metodelor nesupravegheate:

Colectarea datelor:adunați o cantitate mare de date brute, neetichetate. Aceste date formează baza pentru crearea pseudo-etichetelor și antrenamentul modelului. Multe seturi de date sunt disponibile gratuit.

1. Preprocesare:Pregătiți datele pentru a asigura calitatea. Acest pas include eliminarea duplicatelor, gestionarea valorilor lipsă și normalizarea intervalelor de date.
2. Crearea sarcinilor:creați puzzle-uri pentru ca modelul să le rezolve, cunoscute sub numele de sarcini pretext. Acestea sunt create prin eliminarea sau amestecarea unor părți ale datelor, cum ar fi eliminarea cuvintelor, ștergerea pixelilor imaginii sau amestecarea cadrelor video. Orice a existat înainte de această corupție intenționată este cunoscut sub numele de pseudo-etichetă: un „răspuns corect” creat din datele în sine, mai degrabă decât din etichetarea umană.
3. Antrenament:Antrenați modelul pe sarcinile pretext folosind pseudo-etichetele generate. Aceasta înseamnă că modelul încearcă să genereze răspunsul corect, compară răspunsul său cu pseudoeticheta, ajustează și încearcă din nou să genereze răspunsul corect. Această fază ajută modelul să înțeleagă relațiile dintre date și în cele din urmă creează o înțelegere complexă a relației dintre intrări și ieșiri.
4. Reglare fină:comutați modelul pentru a învăța dintr-un set de date mai mic, etichetat, pentru a-și îmbunătăți performanța la anumite sarcini. Acest pas asigură că modelul folosește reprezentările învățate în timpul fazei de formare inițială. Reglarea fină nu este strict necesară, dar de obicei duce la rezultate mai bune.
5. Evaluare:Evaluați performanța modelului pe date pe care încă nu le-a văzut. Folosind valori standard relevante pentru sarcină, cum ar fi scorul F1, această evaluare asigură că modelul se generalizează bine la date noi.
6. Implementare și monitorizare:implementați modelul instruit în aplicații din lumea reală și monitorizați continuu performanța acestuia. Actualizați modelul cu date noi după cum este necesar pentru a-și menține acuratețea și relevanța.

Tipuri de învățare autosupravegheată

Învățarea auto-supravegheată cuprinde diferite tipuri, fiecare cu mai multe tehnici și abordări. Aici, vom explora mai multe tipuri, evidențiind metodele lor unice de antrenament și oferind unul sau două exemple reprezentative pentru fiecare.

Pentru imagini

• Învățare auto-predictivă:Învățarea auto-predictive implică tehnici precum codificarea automată, în care un model învață să comprima informațiile într-o formă mai simplă și apoi să recreeze datele originale din aceasta. În procesarea imaginii, aceasta înseamnă adesea coruperea selectivă a părților unei imagini (de exemplu, prin mascarea secțiunilor) și antrenarea modelului pentru a reconstrui originalul. Acest lucru ajută modelul să recunoască mai bine obiectele în diferite poziții, dimensiuni și chiar și atunci când sunt parțial ascunse.
• Învățare contrastivă:în învățarea contrastivă, modelul învață să facă distincția între imagini similare și diferite comparându-le în perechi sau în grupuri. De exemplu, metoda SimCLR utilizează măriri de imagine (cum ar fi decuparea, distorsionarea și răsturnarea) pentru a crea perechi de antrenament. Perechile pozitive sunt realizate prin aplicarea de modificări diferite la aceeași imagine, în timp ce perechile negative provin din imagini diferite. Modelul învață apoi ce caracteristici sunt comune în perechi similare și diferite în perechi diferite.
• Metode bazate pe clustering:Metodele bazate pe clustering grupează puncte de date similare împreună și folosesc aceste clustere ca pseudo-etichete pentru antrenament. De exemplu, DeepCluster grupează imaginile după caracteristici similare și utilizează aceste clustere pentru a antrena modelul. Procesul alternează între grupare și antrenament până când modelul funcționează bine. SwAV (Swapping Assignments Between Views) îmbunătățește acest lucru prin utilizarea mai multor versiuni ale aceleiași imagini pentru a ajuta modelul să învețe caracteristici esențiale care rămân constante, cum ar fi marginile, texturile și pozițiile obiectelor.

Pentru text

• Învățare auto-predictivă:acesta este mecanismul de formare de bază al modelelor de limbaj mari (LLM), care înțeleg textul ca o serie de simboluri. Acestea reprezintă de obicei un cuvânt, dar uneori o parte dintr-un cuvânt sau un grup de cuvinte.
  • Modele de limbaj mascat (MLM):Acestea sunt afișate propoziții cu unele simboluri lipsă și însărcinate să prezică cuvintele lipsă. Învățând cum să completeze aceste spații libere, MLM-urile dezvoltă o reprezentare detaliată a structurii și contextului limbajului și pot lua în considerare contextul unei întregi intrări atunci când fac predicții. Rezultatele utile, cum ar fi analiza sentimentelor sau recunoașterea entității denumite, sunt dezvoltate prin reglare fină. Un prim exemplu este BERT, pe care Google îl folosește pentru a înțelege intenția interogărilor de căutare.
  • Modele de limbaj cauzal (CLM):Modelele generative, cum ar fi ChatGPT, Claude și Gemini, învață să recreeze textul pe care l-au văzut prevăzând câte un cuvânt, pe baza simbolurilor anterioare. Odată instruiți, ei tratează textul introdus ca context pentru predicțiile lor și continuă să facă predicții cu fiecare simbol nou pe care îl generează. Această predicție secvențială este motivul pentru care rezultatul lor pare să se tasteze singur, mai degrabă decât să apară dintr-o dată.
• Învățare contrastantă:această abordare compară perechi de eșantioane de text, subliniind diferențele și asemănările dintre ele. SimCSE creează două versiuni ușor diferite ale aceleiași propoziții prin aplicarea abandonului, care ignoră aleatoriu părți ale reprezentării propoziției în straturi ascunse în timpul antrenamentului (vezi mai multe despre straturile ascunse în postarea noastră despre învățarea profundă). Modelul învață să recunoască aceste versiuni ca fiind similare. Această tehnică îmbunătățește capacitatea modelului de a înțelege și compara propoziții, făcându-l util pentru aplicații precum găsirea de propoziții similare sau preluarea de informații relevante pentru interogări de căutare.
• Predicția următoarei propoziții (NSP):După cum sugerează și numele, NSP implică prezicerea dacă o anumită propoziție este propoziția ulterioară a alteia dintr-un document, ajutând modelele să înțeleagă relațiile dintre propoziții și fluxul logic al textului. Este folosit în mod obișnuit alături de un MLM pentru a-și îmbunătăți înțelegerea unor corpuri mai mari de text. De exemplu, în BERT NSP, modelul prezice dacă două propoziții apar consecutiv în textul original.

Aplicații ale învățării autosupravegheate

Învățarea auto-supravegheată are o gamă largă de aplicații în diferite domenii:

• Procesarea limbajului natural:modele precum BERT și GPT-3 folosesc învățarea auto-supravegheată pentru a înțelege și a genera limbajul uman în aplicații precum chatbot-uri, traducere și rezumare de text.
• Viziunea computerizată:Învățarea auto-supravegheată îmbunătățește analiza imaginilor și video prin generarea de pseudoetichete din date vizuale brute. Utilizările includ detectarea obiectelor (cum ar fi pe o cameră pentru sonerie), recunoașterea facială și crearea automată a clipurilor din videoclipuri mai lungi.
• Recunoașterea vorbirii:modelele auto-supravegheate îmbunătățesc sistemele de recunoaștere a vorbirii prin învățarea din cantități mari de date audio neetichetate. Această abordare reduce nevoia de transcriere manuală și îmbunătățește acuratețea în diferite accente și dialecte.
• Asistență medicală:Învățarea auto-supravegheată ajută la îmbunătățirea analizei imaginilor medicale, descoperirea medicamentelor și monitorizarea pacienților prin folosirea unor seturi mari de date cu exemple minime etichetate. Îmbunătățește acuratețea depistarii bolilor și a recomandărilor de tratament fără a necesita o etichetare extinsă și costisitoare a oamenilor de specialitate.
• Robotică:roboții folosesc învățarea auto-supravegheată pentru a-și înțelege mediul și pentru a-și îmbunătăți procesele de luare a deciziilor. Utilizările includ navigarea autonomă, manipularea obiectelor și interacțiunea om-robot.

Avantajele învățării autosupravegheate

• Eficient din punct de vedere al costurilor:reduce nevoia de date extinse etichetate, reducând costurile de adnotare și efortul uman.
• Scalabilitate:Poate gestiona seturi mari de date, făcându-l potrivit pentru aplicațiile din lumea reală în care datele etichetate sunt limitate, dar datele neetichetate sunt abundente.
• Generalizare:Când este instruit pe date brute suficiente, modelul poate învăța suficient pentru a îndeplini sarcini noi, chiar dacă nu a fost instruit pe date direct relevante. De exemplu, un model NLP bazat pe o limbă ar putea fi utilizat pentru a crește învățarea celui bazat pe o altă limbă.
• Flexibilitate:adaptabil la o mare varietate de sarcini și domenii, cu multe subtipuri disponibile pentru a se potrivi nevoilor particulare.

Dezavantajele învățării autosupravegheate

• Complexitate:Crearea sarcinilor pretext eficiente și generarea de pseudo-etichete necesită o proiectare și experimentare atentă.
• Sensibilitatea la zgomot:Pseudo-etichetele generate din datele brute ar putea fi irelevante pentru obiectiv, putând influența performanța, oferind modelului prea multă intrare inutilă pentru procesare.
• Resurse de calcul:Pregătirea modelelor auto-supravegheate, în special cu seturi de date mari, necesită o putere și un timp de calcul semnificative.