Care este diferența dintre parametrii unui model și hiperparametrii lui? Dă exemple din scikit-learn.
Răspuns scurt: Parametrii sunt învățați din date în timpul antrenării (de exemplu coeficienții unei regresii). Hiperparametrii îi alegi tu înainte de antrenare (de exemplu max_depth la un arbore sau C la regresia logistică) și îi optimizezi pe date de validare.
Parametrii sunt valorile pe care algoritmul le calculează singur în fit: coeficienții coef_ și intercept_ ai unei regresii liniare, pragurile și împărțirile unui arbore de decizie, centroizii cluster_centers_ din k-means sau ponderile unei rețele neuronale. În scikit-learn îi recunoști după sufixul _: atributele care se termină în underscore există doar după ce modelul a fost antrenat.
Hiperparametrii sunt setările algoritmului, pe care le dai în constructor: n_neighbors la k-NN, max_depth și min_samples_leaf la arbori, alpha la Ridge, learning_rate la gradient boosting, numărul de straturi și rata de învățare la o rețea. Ei nu se pot învăța prin aceeași optimizare, pentru că de obicei controlează complexitatea modelului: dacă i-ai alege după eroarea pe datele de antrenare, ai alege mereu varianta cea mai complexă.
from sklearn.linear_model import Ridge
model = Ridge(alpha=1.0) # hiperparametru
model.fit(X_train, y_train)
print(model.coef_) # parametri învățați
print(model.get_params()) # hiperparametrii setațiDe aceea hiperparametrii se aleg cu un set de validare sau cu validare încrucișată (GridSearchCV, RandomizedSearchCV), iar setul de test rămâne neatins până la evaluarea finală.
Ce urmărește intervievatorul: Verifică vocabularul de bază și dacă știi de ce hiperparametrii nu se aleg pe datele de antrenare. Mulți candidați confundă cele două noțiuni sau spun că rata de învățare este un parametru învățat.
Eroarea, în practică:'LinearRegression' object has no attribute 'coef_'
