...
← Curs Machine Learning și AI pentru începători: toate lecțiile
Lecția 12 · Evaluare

Antrenare și testare

Un elev care învață pe de rost răspunsurile de la teste are 10 la exercițiile cunoscute și pică la examen. Modelele pot face la fel. De aceea, în ML, nu evaluezi niciodată un model pe datele pe care le-a învățat, ci pe date separate, de test.

Împărțirea 80/20

Cea mai folosită regulă: păstrezi cam 80% din date pentru antrenare și 20% pentru test. Cu o listă, faci asta prin slicing:

preturi = [98, 139, 76, 165, 112, 85, 120, 101, 94, 130]
n_antrenare = int(len(preturi) * 0.8)
antrenare = preturi[:n_antrenare]
test = preturi[n_antrenare:]
print("Antrenare:", antrenare)
print("Test:", test)
Antrenare: [98, 139, 76, 165, 112, 85, 120, 101]
Test: [94, 130]

preturi[:8] ia primele 8 elemente, preturi[8:] ia restul. Cele două părți nu au niciun element comun.

Exercițiul tău

Împarte 10 prețuri în antrenare și test, antrenează modelul medie și măsoară eroarea pe test.

  • Ia primele 8 prețuri în antrenare și ultimele 2 în test, cu slicing.
  • Calculează media din antrenare și afișează Media din antrenare: ... cu 2 zecimale.
  • Pentru fiecare preț din test afișează Real: ..., Eroare: ... (eroarea = real − medie, cu 2 zecimale).
antrenare = preturi[:8], test = preturi[8:].

Soluția exercițiului

preturi = [98000, 139000, 76000, 165000, 112000, 85000, 120000, 101000, 94000, 130000]

antrenare = preturi[:8]
test = preturi[8:]

media = sum(antrenare) / len(antrenare)
print(f"Media din antrenare: {media:.2f}")

for real in test:
    print(f"Real: {real}, Eroare: {real - media:.2f}")
Excelent! Continuă cu lecția următoare →
Vrei să afli mai mult?Problema: învățatul pe de rost · Regula de aur · Ordinea datelor contează · Greșeli frecvente · În lumea reală

Problema: învățatul pe de rost

Un model care memorează exemplele poate avea eroare zero pe ele, dar asta nu spune nimic despre apartamente noi. Ce te interesează este cât de bine generalizează, adică cum se descurcă pe exemple pe care nu le-a văzut.

Analogia

Datele de antrenare sunt exercițiile din culegere. Datele de test sunt subiectele de la examen, pe care elevul nu le-a văzut. Nota de la examen e cea care contează.

Regula de aur

1
Modelul se antrenează doar pe partea de antrenare (aici: media se calculează doar din ea).
2
Modelul face predicții pentru exemplele de test.
3
Eroarea pe test este cea pe care o raportezi.
antrenare = [98, 139, 76, 165, 112, 85, 120, 101]
test = [94, 130]
media = sum(antrenare) / len(antrenare)
print("Predicția (media din antrenare):", media)
for real in test:
    print(f"real {real}, eroare {real - media:.2f}")
Predicția (media din antrenare): 112.0
real 94, eroare -18.00
real 130, eroare 18.00
Atenție

Dacă folosești datele de test în antrenare, chiar și doar ca să calculezi media, eroarea pe test nu mai e corectă. Această greșeală are un nume: scurgere de date (*data leakage*).

Ordinea datelor contează

Aici am luat primele 8 rânduri pentru antrenare. Dacă datele sunt sortate (de exemplu întâi apartamentele mici, apoi cele mari), testul ar conține doar apartamente mari, iar evaluarea ar fi înșelătoare. De aceea, mai târziu, vei amesteca datele înainte de împărțire, cu train_test_split din scikit-learn.

Greșeli frecvente

  • Evaluezi pe datele de antrenare: rezultatul e prea optimist.
  • Setul de test prea mic: cu 2 exemple, eroarea depinde mult de noroc. În proiecte reale, testul are sute sau mii de exemple.
  • Te uiți la test și schimbi modelul până iese bine: practic ai antrenat pe test. Testul se folosește la final.

În lumea reală

Bănci

Modelele de credit se testează pe clienți din luni pe care modelul nu le-a văzut.

Medicină

Un model de diagnostic se testează pe pacienți din alt spital decât cel din antrenare.

Competiții

Pe Kaggle, setul de test e ascuns: afli scorul doar după ce trimiți predicțiile.

main.pyPython
ConsolăSe încarcă...
Mediul de lucru se încarcă. Poți citi lecția între timp.
Rulează codul cu butonul de sus sau cu Ctrl + Enter / Cmd + Enter.
Parcursul tău Ce este AI și Machine Learning Lecția 12 · Antrenare și testare
Progres 0% 0 din 17
Lecția curentă 12 / 15 Evaluare