Învățare în câteva momente explicată: Transformarea inteligenței artificiale cu date minime

Publicat: 2025-01-13

Few-shot learning (FSL) transformă învățarea automată (ML), permițând modelelor să învețe și să genereze rezultate precise din doar câteva exemple, spre deosebire de metodele tradiționale care necesită seturi de date vaste. Acest ghid explorează modul în care funcționează FSL, aplicațiile sale, comparațiile cu învățarea zero-shot (ZSL) și provocările și potențialul acestuia.

Cuprins

  • Ce este învăţarea cu câteva lovituri?
  • Învățare cu puține injecții vs. îndemnare cu câteva injecții: care este diferența?
  • Cât de puține injecții funcționează
  • Învățare cu puține lovituri vs. învățare zero
  • Aplicații pentru învățarea cu câteva lovituri
  • Beneficiile învățării cu câteva lovituri
  • Provocări ale învățării cu puține lovituri

Ce este învățarea cu câteva lovituri (FSL)?

Few-shot learning (FSL) se referă la o familie de tehnici ML concepute pentru a crea modele adaptabile capabile să genereze rezultate precise după ce au fost antrenate pe doar câteva exemple etichetate per categorie. Când este disponibil un singur exemplu etichetat per categorie, se numește învățare unică. De exemplu, smartphone-urile moderne folosesc FSL pentru a recunoaște fața unui utilizator cu doar câteva fotografii – sau chiar cu o singură fotografie.

FSL este deosebit de valoroasă deoarece permite modelelor ML să abordeze problemele în care datele sunt rare, așa cum este adesea în lumea reală. Modelele FSL pot gestiona, de asemenea, o gamă mai largă de sarcini decât modelele tradiționale de învățare supravegheată, deoarece învață să generalizeze. Acest lucru economisește resurse, deoarece este adesea mai ieftin și mai rapid să adaptezi un model FSL la o nouă sarcină decât să antrenezi un model complet nou de la zero. FSL este adesea descrisă ca învățând modelele ML să „gândească” mai mult ca oamenii, învățând să abstragă doar de la câteva exemple.

FSL este adesea folosit pentru aplicații de viziune computerizată, dar este, de asemenea, implementat în robotică și procesarea limbajului natural (NLP). De exemplu, FSL a fost folosit pentru a traduce texte sumeriene antice - o sarcină utilă, având în vedere că experții în limba sumeriană sunt puțini. Modelele FSL de traducător sumerian au învățat cum să traducă doar dintr-un set mic de mostre de înaltă calitate de tăblițe cuneiforme. Apoi au tradus cu acuratețe cantități mari de text necunoscut pentru ca cercetătorii să le analizeze.

Lucrați mai inteligent cu Grammarly
Partenerul de scriere AI pentru oricine are de lucru

Învățare cu puține injecții vs. îndemnare cu câteva injecții: care este diferența?

FSL și avizul cu câteva lovituri sunt concepte înrudite în ML și NLP, dar servesc unor scopuri diferite.

Învățare cu puține lovituri

FSL este o tehnică de formare a modelelor care învață modelele să clasifice datele nevăzute. Funcționează prin ajustarea parametrilor modelului pentru a se adapta la noile tipuri de sarcini de clasificare, bazându-se pe cunoștințele anterioare. FSL este legat de învățarea supravegheată, dar diferența este că modelele FSL sunt antrenate pe un set de date mult mai limitat.

Îndemnul de câteva lovituri

Solicitarea cu puține inregistrări este o modalitate de a lucra cu modele de limbaj mari (LLM). Utilizează învățarea în context — un tip de învățare în care modelul folosește informații din prompt, cum ar fi formatul și sentimentul, pentru a prezice o ieșire. Spre deosebire de FSL și de învățarea supervizată tradițională, îndemnul cu câteva lovituri nu implică modificarea parametrilor LLM. Când utilizați promptarea cu câteva inregistrări, furnizați LLM-ului mai multe exemple de tipul de răspuns pe care îl căutați. La fel ca FSL, promptarea cu câteva inregistrări se referă la a ajuta un model să se generalizeze prin expunerea lui la câteva exemple de o sarcină similară.

Cât de puține injecții funcționează

Învățarea cu puține inregistrări implică două etape: în primul rând, modelele sunt antrenate în prealabil pe un set de date general pentru a afla despre lume. Apoi sunt supuși adaptării sarcinilor, în care modelele învață cum să generalizeze din eșantioane de date mici.

Pre-antrenament

Prima etapă pentru majoritatea modelelor FSL începe cu pregătirea preliminară pe un set mare de date etichetat, la fel ca învățarea supravegheată. Modelul efectuează extragerea caracteristicilor pe acest set de date și învață să clasifice exemple prin dezvoltarea unei baze de cunoștințe despre modele și relații din date.

Adaptarea sarcinilor

După pre-instruire, următoarea etapă a FSL este antrenarea modelului pentru a generaliza la noi sarcini de clasificare. Aceasta se numește adaptare la sarcini și se întâmplă în mai multe episoade de antrenament.

În fiecare episod, există un set de suport de două până la cinci exemple pentru modelul de studiat și un set de interogări cu ținte nevăzute pe care modelul trebuie să încerce să le clasifice. Acest cadru se numește clasificare N-way K-shot, în careNse referă la numărul de categorii (numite clase), iarKse referă la numărul de exemple etichetate (shots) ale fiecărei categorii.

Toate modelele FSL sunt concepute pentru a realiza adaptarea sarcinilor. În cadrul setului de tehnici FSL, una dintre cele mai importante și mai interesante domenii de cercetare este meta-învățarea.

Abordări meta-învățare

Meta-învățarea implică expunerea modelului la sarcini similare sau legate de sarcina de clasificare pe care modelul a fost antrenat inițial să o rezolve. Primește doar câteva exemple din fiecare sarcină nouă, dar din acestea, învață să generalizeze prin dezvoltarea unui meta-cadru pentru ce să facă atunci când i se oferă o sarcină necunoscută.

În linii mari, există trei tipuri de abordări ale meta-învățarii:

  1. Învățare bazată pe optimizare:aceasta include abordări care antrenează modelele pentru a-și îmbunătăți rapid parametrii. Unii dintre ei folosesc un proces în două etape în care un cursant este antrenat pentru o anumită sarcină, iar apoi un meta-învățator utilizează funcția de pierdere din etapa de învățare pentru a îmbunătăți parametrii modelului pentru următoarea sarcină.
  2. Învățare la nivel de metrică:Folosită mai ales pentru sarcini de viziune computerizată, învățarea metrică funcționează prin maparea caracteristicilor extrase într-un spațiu de încorporare și folosind distanța dintre caracteristicile de pe hartă pentru a afișa probabilitatea ca două imagini să fie similare.
  3. Meta-învățare independentă de model (MAML):În MAML, scopul procesului de formare este de a reduce numărul de pași de gradient necesari pentru a optimiza parametrii modelului, indiferent de sarcină. MAML analizează procesele de învățare pentru sarcini, deduce modele în modul în care funcționează procesul și dezvoltă modele care acționează ca comenzi rapide, accelerând procesul de învățare cu fiecare sarcină nouă pe care o vede.

Lista arhitecturilor model care utilizează tehnici de meta-învățare crește tot timpul, pe măsură ce cercetătorii elaborează noi modalități de a ajuta modelele să devină adaptabile.

Abordări non-meta-învățare

Există, de asemenea, metode adiacente FSL și FSL care nu folosesc meta-învățare. FSL este uneori implementat împreună cu aceste tehnici pentru a crea o abordare hibridă:

  • Învățare prin transfer:această metodă implică luarea unui model pre-antrenat și reglarea fină a straturilor exterioare ale rețelei neuronale. Învățarea prin transfer este mai utilă în scenariile în care sarcina pe care doriți să o îndeplinească modelul este aproape de sarcina pentru care a fost deja antrenat.
  • Mărirea datelor:FSL poate fi consolidat cu creșterea datelor, care implică utilizarea datelor limitate ca bază pentru a crea date sintetice folosind rețele generative adversarial (GAN) sau autoencodere variaționale pentru a crește numărul de mostre pentru setul de antrenament.

Învățare cu puține lovituri vs. învățare zero

Învățarea „few-shot” (sau „one-shot learning”) este adesea folosită în scenariile în care există date limitate, dar de înaltă calitate pentru a antrena un model. Dar dacă nu aveți deloc date de înaltă calitate? În învățarea zero-shot (ZSL), nu dați modelului dvs. nici un exemplu și, în schimb, îi cereți să se bazeze exclusiv pe cunoștințele anterioare și pe înglobările semantice pe care le poate folosi pentru a gestiona sarcini nefamiliare.

ZSL oferă o soluție rapidă și flexibilă pentru gestionarea situațiilor cu foarte puține date. Cu toate acestea, modelele ZSL se pot lupta cu schimbarea domeniului - ceea ce înseamnă că pot avea dificultăți dacă tipul de date pe care le văd este prea diferit de baza lor de cunoștințe - și poate fi dificil de evaluat cât de bine funcționează un model.

Aplicații pentru învățarea cu câteva lovituri

Aplicațiile pentru FSL sunt ample și în continuă evoluție, dar au un potențial enorm de a fi util în domeniile în care aveți relativ puține exemple disponibile. Unele domenii recente de cercetare pentru cazurile de utilizare includ:

  • Diagnosticare medicală:FSL poate ajuta la clasificarea tumorii bazată pe imagini acolo unde nu există suficiente date etichetate pentru ca modelele tradiționale de învățare supravegheată să fie utile.
  • Teledetecție:FSL poate accelera sarcinile de teledetecție, cum ar fi utilizarea imaginilor UAV pentru a evalua impactul dezastrelor ecologice.
  • Prototiparea mașinilor de curse F1:modelele FSL sunt pre-antrenate pe fluide și aerodinamică și alte date pentru sute de mașini în mii de curse. Apoi folosesc FSL pentru a prezice aerodinamica și degradarea pieselor pentru prototipuri de mașini noi, pe baza unui număr mic de teste costisitoare.
  • Traducere automată:FSL a ajutat la construirea de traducători automati mai eficienți, care utilizează foarte puține informații și pot surprinde nuanțe în dialect și variații regionale cu o acuratețe fără precedent.
  • Robotică:FSL este folosit pentru a-i învăța pe roboți să învețe să apuce obiecte urmărind demonstrații umane.
  • Analiza sentimentelor:un model FSL instruit inițial pe recenziile hotelurilor poate fi folosit pentru a clasifica recenziile restaurantelor.

FSL face, de asemenea, parte din încercarea de a construi inteligența generală artificială, deoarece imită mai îndeaproape modul în care oamenii abordează rezolvarea problemelor.

Beneficiile învățării cu câteva lovituri

Principalele beneficii ale modelelor FSL sunt că pot face față problemelor în care sunt disponibile date limitate și pot contribui la reducerea resurselor de calcul și financiare necesare pentru a pregăti modele noi.

Generalizarea cu date limitate

Modelele FSL pot face acest lucru deoarece nu memorează imagini, sunete sau limbaj prin multe iterații. În schimb, ei învață să analizeze rapid asemănările și diferențele. În timp ce modelele tradiționale excelează la sarcini foarte specifice, cum ar fi identificarea unei anumite specii de păsări sau potrivirea amprentelor digitale, ele eșuează de îndată ce le ceri să finalizeze orice altă sarcină.

Folosind mai puține resurse

Tehnici precum MAML sunt o modalitate mult mai eficientă de a utiliza resursele de formare a modelelor. Acestea permit ca modelele foarte scumpe la scară largă să fie adaptate rapid și eficient la cazuri de utilizare specifice, fără pași costisitori de recalificare. Una dintre marile provocări ale învățării automate este cât de multe date sunt necesare pentru a antrena un model pentru a produce rezultate utile, atât în ​​ceea ce privește compilarea unor seturi de date mari, de înaltă calitate, cât și cât de mult timp și de calcul sunt necesare. FSL promite să rezolve multe probleme din lumea reală în care datele sunt rare sau traversează domenii.

Provocări ale învățării cu puține lovituri

În ciuda promisiunii sale, FSL are provocări care pot împiedica eficacitatea modelului.

Supramontare

Utilizarea seturilor de date limitate poate provoca supraadaptare, în cazul în care modelul se aliniază prea strâns cu datele din seturile sale de antrenament și se luptă să se generalizeze. Aceasta este o problemă familiară în ML, care apare mai frecvent cu FSL decât cu alte abordări ML. Un model FSL care se supraajustează va funcționa bine pe datele de testare, dar nu va identifica noi categorii atunci când este prezentat cu exemple din lumea reală. Pentru a preveni acest lucru, este important să existe diversitate în eșantioanele limitate utilizate pentru antrenamentul cu câteva lovituri. Augmentarea datelor, discutată mai sus, încearcă să atenueze supraadaptarea prin sintetizarea mai multor exemple pentru antrenament.

Calitatea datelor

Datele de înaltă calitate sunt importante atât în ​​etapa de pre-formare, cât și în etapa de învățare cu câteva inregistrări. Modelele FSL sunt mai ușor îngreunate de date zgomotoase, prost etichetate. De asemenea, nu se descurcă bine atunci când datele au prea multe de un fel și nu de altul sau au prea multe caracteristici pentru ca modelul să le analizeze; în aceste cazuri, ele tind să devină excesiv de complexe. Cercetătorii pot face față uneori acestor probleme utilizând tehnici de regularizare, care sunt modalități de a netezi datele pentru a ajuta un model să-și dea seama la ce să acorde atenție și la ce să ignore.