Scorul F1 în învățarea automată: Cum se calculează, se aplică și se utilizează eficient

Scorul F1 este o metrică puternică pentru evaluarea modelelor de învățare automată (ML), concepute pentru a efectua clasificare binară sau multiclasă. Acest articol va explica care este scorul F1, de ce este important, cum este calculat, și aplicațiile, beneficiile și limitările sale.

Cuprins

• Ce este un scor F1?
• Cum se calculează un scor F1
• Scor F1 vs.
• Aplicații ale scorului F1
• Beneficiile scorului F1
• Limitări ale scorului F1

Ce este un scor F1?

Practicanții ML se confruntă cu o provocare comună atunci când construiesc modele de clasificare: instruirea modelului pentru a prinde toate cazurile, evitând în același timp alarme false. Acest lucru este deosebit de important în aplicațiile critice, cum ar fi detectarea fraudei financiare și diagnosticul medical, unde alarmele false și lipsa clasificărilor importante au consecințe grave. Realizarea echilibrului corect este deosebit de importantă atunci când aveți de -a face cu seturi de date dezechilibrate, în care o categorie precum tranzacțiile frauduloase este mult mai rară decât cealaltă categorie (tranzacții legitime).

Precizie și reamintire

Pentru a măsura calitatea performanței modelului, scorul F1 combină două valori conexe:

• Precizia, care răspunde: „Când modelul prezice un caz pozitiv, cât de des este corect?”
• Reamintim, care răspunde: „Din toate cazurile pozitive reale, câți s -a identificat corect modelul?”

Un model cu o precizie ridicată, dar o rechemare scăzută este prea prudent, lipsind multe pozitive adevărate, în timp ce unul cu o rechemare ridicată, dar o precizie scăzută este excesiv de agresivă, generând multe pozitive false. Scorul F1 atinge un echilibru luând media armonică a preciziei și a rechemării, ceea ce oferă mai multă greutate valorilor mai mici și asigură că un model funcționează bine atât pe metrici, mai degrabă decât să excepe doar într -una.

Exemplu de precizie și reamintire

Pentru a înțelege mai bine precizia și reamintirea, luați în considerare un sistem de detectare a spamului. Dacă sistemul are o rată ridicată de e -mailuri de semnalizare corectă ca spam, aceasta înseamnă că are o precizie ridicată. De exemplu, dacă sistemul semnalizează 100 de e -mailuri ca spam, iar 90 dintre ele sunt de fapt spam, precizia este de 90%. Reamintirea ridicată, pe de altă parte, înseamnă că sistemul surprinde cele mai multe e -mailuri de spam. De exemplu, dacă există 200 de e -mailuri de spam și sistemul nostru captează 90 dintre ele, reamintirea este de 45%.

Variante ale scorului F1

În sistemele de clasificare multiclase sau scenarii cu nevoi specifice, scorul F1 poate fi calculat în moduri diferite, în funcție de factori importanți:

• Macro-F1:calculează scorul F1 separat pentru fiecare clasă și ia media
• Micro-F1:calculează reamintirea și precizia asupra tuturor predicțiilor
• Ponderat-F1: similar cu macro-F1, dar clasele sunt ponderate în funcție de frecvență

Dincolo de scorul F1: familia F-Score

Scorul F1 face parte dintr-o familie mai mare de valori numite scorurile F. Aceste scoruri oferă diferite modalități de precizie și reamintire a greutății:

• F2:pune un accent mai mare pe rechemare, ceea ce este util atunci când falsele negative sunt costisitoare
• F0.5:pune un accent mai mare pe precizie, ceea ce este util atunci când falsurile pozitive sunt costisitoare

Cum se calculează un scor F1

Scorul F1 este definit matematic drept media armonică a preciziei și a rechemării. În timp ce acest lucru ar putea suna complex, procesul de calcul este simplu atunci când este defalcat în trepte clare.

Formula pentru scorul F1:

Înainte de a vă scufunda în pașii pentru calcularea F1, este important să înțelegeți componentele cheie ale ceea ce se numește omatrice de confuzie, care este utilizată pentru a organiza rezultate de clasificare:

• Adevărații pozitive (TP):numărul de cazuri identificate corect ca fiind pozitive
• Positive false (FP):numărul de cazuri identificate incorect ca fiind pozitive
• False negative (FN):numărul de cazuri ratate (pozitive reale care nu au fost identificate)

Procesul general implică instruirea modelului, testarea predicțiilor și organizarea rezultatelor, calcularea preciziei și reamintirii și calcularea scorului F1.

Pasul 1: antrenează un model de clasificare

În primul rând, un model trebuie să fie instruit pentru a face clasificări binare sau multiclase. Aceasta înseamnă că modelul trebuie să poată clasifica cazurile ca aparținând uneia dintre cele două categorii. Exemple includ „spam/nu spam” și „fraudă/nu fraudă”.

Pasul 2: Predicții de testare și organizează rezultatele

În continuare, utilizați modelul pentru a efectua clasificări pe un set de date separat care nu a fost utilizat ca parte a instruirii. Organizați rezultatele în matricea de confuzie. Această matrice arată:

• TP: Câte predicții erau de fapt corecte
• FP: Câte predicții pozitive au fost incorecte
• FN: Câte cazuri pozitive au fost ratate

Matricea de confuzie oferă o imagine de ansamblu asupra modului în care modelul este performant.

Pasul 3: Calculați precizia

Folosind matricea de confuzie, precizia este calculată cu această formulă:

De exemplu, dacă un model de detectare a SPAM a identificat corect 90 de e -mailuri spam (TP), dar a semnalat incorect 10 e -mailuri de nonspam (FP), precizia este de 0,90.

Pasul 4: Calculați reamintirea

În continuare, calculați reamintirea folosind formula:

Folosind exemplul de detectare a spamului, dacă au existat 200 de e -mailuri totale de spam, iar modelul a prins 90 dintre ele (TP) în timp ce lipsește 110 (FN), reamintirea este de 0,45.

Pasul 5: Calculați scorul F1

Cu valorile de precizie și rechemare în mână, scorul F1 poate fi calculat.

Scorul F1 variază de la 0 la 1. Când interpretați scorul, luați în considerare aceste repere generale:

• 0,9 sau mai mare:Modelul funcționează excelent, dar ar trebui verificat pentru a fi suprasolicitat.
• 0,7 până la 0,9:performanță bună pentru majoritatea aplicațiilor
• 0,5 până la 0,7:performanța este OK, dar modelul ar putea folosi îmbunătățiri.
• 0,5 sau mai puțin:modelul are performanțe slabe și are nevoie de îmbunătățiri serioase.

Folosind calculele de exemplu de detectare a spamului pentru precizie și reamintire, scorul F1 ar fi de 0,60 sau 60%.

În acest caz, scorul F1 indică faptul că, chiar și cu o precizie ridicată, rechemarea mai mică afectează performanța generală. Acest lucru sugerează că există loc pentru îmbunătățiri în prinderea mai multor e -mailuri spam.

Scor F1 vs.

În timp ce F1 șipreciziacuantifică performanța modelului, scorul F1 oferă o măsură mai nuanțată. Precizia calculează pur și simplu procentul de predicții corecte. Cu toate acestea, doar bazându -se pe precizia pentru a măsura performanța modelului poate fi problematică atunci când numărul de instanțe dintr -o categorie dintr -un set de date depășește în mod semnificativ cealaltă categorie. Această problemă este denumităparadox de precizie.

Pentru a înțelege această problemă, luați în considerare exemplul sistemului de detectare a spamului. Să presupunem că un sistem de e -mail primește 1.000 de e -mailuri în fiecare zi, dar doar 10 dintre acestea sunt de fapt spam. Dacă detectarea spamului clasifică pur și simplu fiecare e -mail ca nu spam, acesta va obține în continuare o precizie de 99%. Acest lucru se datorează faptului că 990 de predicții din 1.000 au fost corecte, chiar dacă modelul este de fapt inutil atunci când vine vorba de detectarea spamului. În mod clar, precizia nu oferă o imagine exactă a calității modelului.

Scorul F1 evită această problemă prin combinarea măsurătorilor de precizie și rechemare. Prin urmare, F1 trebuie utilizat în loc de precizie în următoarele cazuri:

• Setul de date este dezechilibrat.Acest lucru este frecvent în domenii precum diagnosticul de afecțiuni medicale obscure sau detectarea spamului, unde o categorie este relativ rară.
• FN și FP sunt ambele importante.De exemplu, testele de screening medical încearcă să echilibreze prinderea problemelor reale pentru a nu ridica alarme false.
• Modelul trebuie să obțină un echilibru între a fi prea agresiv și prea prudent.De exemplu, în filtrarea spamului, un filtru excesiv de prudent ar putea lăsa prea mult spam (reamintire scăzută), dar rareori face greșeli (precizie ridicată). Pe de altă parte, un filtru excesiv de agresiv ar putea bloca e -mailuri reale (precizie scăzută), chiar dacă prinde tot spamul (reamintire ridicată).

Aplicații ale scorului F1

Scorul F1 are o gamă largă de aplicații în diferite industrii, unde clasificarea echilibrată este critică. Aceste aplicații includ detectarea fraudei financiare, diagnosticul medical și moderarea conținutului.

Detectarea fraudei financiare

Modelele concepute pentru a detecta frauda financiară sunt o categorie de sisteme potrivite pentru măsurare folosind scorul F1. Firmele financiare procesează adesea milioane sau miliarde de tranzacții zilnic, cazurile reale de fraudă fiind relativ rare. Din acest motiv, un sistem de detectare a fraudei trebuie să prindă cât mai multe tranzacții frauduloase, reducând simultan numărul de alarme false și rezultând inconveniente pentru clienți. Măsurarea scorului F1 poate ajuta instituțiile financiare să stabilească cât de bine se echilibrează sistemele lor pe pilonii gemeni ai prevenirii fraudei și o experiență bună a clienților.

Diagnostic medical

În diagnosticul medical și testarea, FN și FP au ambele consecințe grave. Luați în considerare exemplul unui model conceput pentru a detecta forme rare de cancer. Diagnosticarea incorect a unui pacient sănătos ar putea duce la stres și tratament inutil, în timp ce lipsa unui caz de cancer real va avea consecințe grave pentru pacient. Cu alte cuvinte, modelul trebuie să aibă atât o precizie ridicată, cât și o rechemare ridicată, ceea ce poate măsura scorul F1.

Moderarea conținutului

Moderarea conținutului este o provocare comună pe forumurile online, pe platformele de socializare și pe piețele online. Pentru a obține siguranța platformei fără a depăși supracenzorarea, aceste sisteme trebuie să echilibreze precizia și reamintirea. Scorul F1 poate ajuta platformele să determine cât de bine echilibrează sistemul acestor doi factori.

Beneficiile scorului F1

Pe lângă faptul că oferă, în general, o viziune mai nuanțată a performanței modelului decât precizia, scorul F1 oferă mai multe avantaje cheie la evaluarea performanței modelului de clasificare. Aceste beneficii includ o pregătire și optimizare a modelului mai rapid, costurile de instruire reduse și prinderea timpurie din timp.

Antrenament și optimizare a modelului mai rapid

Scorul F1 poate ajuta la accelerarea antrenamentului modelului, oferind o metrică de referință clară care poate fi utilizată pentru a ghida optimizarea. În loc să ajusteze separat rechemarea și precizia, ceea ce implică în general compromisuri complexe, practicienii ML se pot concentra pe creșterea scorului F1. Cu această abordare simplificată, parametrii de model optim pot fi identificați rapid.

Costuri de instruire reduse

Scorul F1 poate ajuta practicienii ML să ia decizii în cunoștință de cauză cu privire la momentul în care un model este gata pentru implementare, oferind o măsură nuanțată și unică a performanței modelului. Cu aceste informații, practicienii pot evita ciclurile de instruire inutile, investițiile în resurse de calcul și trebuie să achiziționeze sau să creeze date suplimentare de instruire. În general, acest lucru poate duce la reduceri substanțiale ale costurilor atunci când sunt modele de clasificare a instruirii.

Prinderea excesivă mai devreme

Deoarece scorul F1 are în vedere atât precizia, cât și rechemarea, acesta poate ajuta practicienii ML să se identifice când un model devine prea specializat în datele de instruire. Această problemă, numită Overfitting, este o problemă comună cu modelele de clasificare. Scorul F1 oferă practicienilor un avertisment timpuriu că trebuie să ajusteze antrenamentul înainte ca modelul să ajungă la un punct în care nu este în măsură să se generalizeze pe datele din lumea reală.

Limitări ale scorului F1

În ciuda numeroaselor sale avantaje, scorul F1 are mai multe limitări importante pe care practicienii ar trebui să le ia în considerare. Aceste limitări includ lipsa de sensibilitate la adevăratele negative, nefiind potrivite pentru unele seturi de date și fiind mai greu de interpretat pentru problemele multiclase.

Lipsa de sensibilitate la adevăratele negative

Scorul F1 nu ține cont de adevăratele negative, ceea ce înseamnă că nu este potrivit pentru aplicațiile în care măsurarea acestui lucru este importantă. De exemplu, luați în considerare un sistem conceput pentru a identifica condiții de conducere sigure. În acest caz, identificarea corectă când condițiile sunt cu adevărat sigure (adevărate negative) este la fel de importantă ca identificarea condițiilor periculoase. Deoarece nu urmărește FN, scorul F1 nu ar surprinde cu exactitate acest aspect al performanței generale a modelului.

Nu este potrivit pentru unele seturi de date

Scorul F1 poate să nu fie potrivit pentru seturile de date în care impactul FP și FN este semnificativ diferit. Luați în considerare exemplul unui model de screening al cancerului. Într-o astfel de situație, lipsa unui caz pozitiv (FN) ar putea pune viața în pericol, în timp ce găsirea greșit a unui caz pozitiv (FP) duce doar la teste suplimentare. Deci, utilizarea unei metrici care poate fi ponderată pentru a ține cont de acest cost este o alegere mai bună decât scorul F1.

Mai greu de interpretat pentru problemele multiclase

În timp ce variațiile precum scorurile Micro-F1 și Macro-F1 înseamnă că scorul F1 poate fi utilizat pentru a evalua sistemele de clasificare multiclase, interpretarea acestor valori agregate este adesea mai complexă decât scorul Binar F1. De exemplu, scorul Micro-F1 ar putea ascunde performanțe slabe în clasificarea claselor mai puțin frecvente, în timp ce scorul macro-F1 ar putea clasele rare supraponderale. Având în vedere acest lucru, întreprinderile trebuie să ia în considerare dacă tratamentul egal al claselor sau performanța generală la nivel de instanță este mai importantă atunci când alegeți varianta F1 potrivită pentru modelele de clasificare multiclass.