Proiect: un prompt evaluat de AI
Testele cu cuvinte cheie din lecția trecută verifică fapte: prețul, ora, un cod interzis. Dar „e politicos?” sau „a răspuns la ce a întrebat clientul?” nu se verifică cu in. Pentru asta folosești un al doilea apel la model, un judecător (LLM-as-judge), care notează răspunsul după o rubrică clară și întoarce verdictul în JSON. În acest proiect pui laolaltă tot modulul.
De ce un judecător AI
Imaginează-ți că ai 200 de cazuri de test pentru asistentul de suport. Un om le-ar citi într-o zi întreagă, și ar trebui să o facă la fiecare schimbare de prompt. Un judecător AI le notează în câteva minute, cu aceleași criterii de fiecare dată, pentru câțiva cenți.
Implementează judecătorul pentru echipa de suport. Rubrica (SYSTEM_JUDECATOR) și datele sunt gata. Scrie SCHEMA_VERDICT (obiect cu motiv de tip string și criteriile politicos, raspunde, fara_inventii de tip boolean, toate obligatorii, addit…
- Scrie SCHEMA_VERDICT cu cele 4 câmpuri, required și additionalProperties: False.
- În judeca, construiește promptul cu tag-uri și trimite-l cu system=SYSTEM_JUDECATOR.
- Cere JSON garantat cu output_config={"format": {"type": "json_schema", "schema": SCHEMA_VERDICT}} și întoarce json.loads(...).
- Calculează scorul din criteriile true și afișează cele două rânduri pentru fiecare răspuns.
Restul explicațiilor, editorul și verificarea automată se deblochează cu Prompt engineering.

Laura Chiriazi
Ioan John