Antrenare și testare
Un elev care învață pe de rost răspunsurile de la teste are 10 la exercițiile cunoscute și pică la examen. Modelele pot face la fel. De aceea, în ML, nu evaluezi niciodată un model pe datele pe care le-a învățat, ci pe date separate, de test.
Împărțirea 80/20
Cea mai folosită regulă: păstrezi cam 80% din date pentru antrenare și 20% pentru test. Cu o listă, faci asta prin slicing:
preturi = [98, 139, 76, 165, 112, 85, 120, 101, 94, 130]
n_antrenare = int(len(preturi) * 0.8)
antrenare = preturi[:n_antrenare]
test = preturi[n_antrenare:]
print("Antrenare:", antrenare)
print("Test:", test)Antrenare: [98, 139, 76, 165, 112, 85, 120, 101] Test: [94, 130]
preturi[:8] ia primele 8 elemente, preturi[8:] ia restul. Cele două părți nu au niciun element comun.
Împarte 10 prețuri în antrenare și test, antrenează modelul medie și măsoară eroarea pe test.
- Ia primele 8 prețuri în antrenare și ultimele 2 în test, cu slicing.
- Calculează media din antrenare și afișează Media din antrenare: ... cu 2 zecimale.
- Pentru fiecare preț din test afișează Real: ..., Eroare: ... (eroarea = real − medie, cu 2 zecimale).
Soluția exercițiului
preturi = [98000, 139000, 76000, 165000, 112000, 85000, 120000, 101000, 94000, 130000]
antrenare = preturi[:8]
test = preturi[8:]
media = sum(antrenare) / len(antrenare)
print(f"Media din antrenare: {media:.2f}")
for real in test:
print(f"Real: {real}, Eroare: {real - media:.2f}") Vrei să afli mai mult?Problema: învățatul pe de rost · Regula de aur · Ordinea datelor contează · Greșeli frecvente · În lumea reală
Problema: învățatul pe de rost
Un model care memorează exemplele poate avea eroare zero pe ele, dar asta nu spune nimic despre apartamente noi. Ce te interesează este cât de bine generalizează, adică cum se descurcă pe exemple pe care nu le-a văzut.
Datele de antrenare sunt exercițiile din culegere. Datele de test sunt subiectele de la examen, pe care elevul nu le-a văzut. Nota de la examen e cea care contează.
Regula de aur
antrenare = [98, 139, 76, 165, 112, 85, 120, 101]
test = [94, 130]
media = sum(antrenare) / len(antrenare)
print("Predicția (media din antrenare):", media)
for real in test:
print(f"real {real}, eroare {real - media:.2f}")Predicția (media din antrenare): 112.0 real 94, eroare -18.00 real 130, eroare 18.00
Dacă folosești datele de test în antrenare, chiar și doar ca să calculezi media, eroarea pe test nu mai e corectă. Această greșeală are un nume: scurgere de date (*data leakage*).
Ordinea datelor contează
Aici am luat primele 8 rânduri pentru antrenare. Dacă datele sunt sortate (de exemplu întâi apartamentele mici, apoi cele mari), testul ar conține doar apartamente mari, iar evaluarea ar fi înșelătoare. De aceea, mai târziu, vei amesteca datele înainte de împărțire, cu train_test_split din scikit-learn.
Greșeli frecvente
- Evaluezi pe datele de antrenare: rezultatul e prea optimist.
- Setul de test prea mic: cu 2 exemple, eroarea depinde mult de noroc. În proiecte reale, testul are sute sau mii de exemple.
- Te uiți la test și schimbi modelul până iese bine: practic ai antrenat pe test. Testul se folosește la final.
În lumea reală
Modelele de credit se testează pe clienți din luni pe care modelul nu le-a văzut.
Un model de diagnostic se testează pe pacienți din alt spital decât cel din antrenare.
Pe Kaggle, setul de test e ascuns: afli scorul doar după ce trimiți predicțiile.
