Primul „model”: o regulă scrisă de mână
Înainte să lași calculatorul să învețe, merită să încerci să scrii tu regula. Construiești un filtru de spam cu o singură regulă: dacă mesajul conține „gratuit” sau „câștigat”, e spam. Vei vedea repede de ce regulile scrise de mână au limite și de ce avem nevoie de Machine Learning.
Ideea: cuvinte suspecte
Dacă te uiți la câteva mesaje spam, observi cuvinte care apar des: „gratuit”, „câștigat”, „premiu”, „urgent”. Prima idee a oricui: dacă textul conține unul dintre aceste cuvinte, îl marchez ca spam.
În Python verifici dacă un text conține alt text cu operatorul in:
mesaj = "Felicitări, ai câștigat un premiu!"
print("câștigat" in mesaj)
print("factură" in mesaj)True False
Aplică filtrul de spam cu reguli pe 4 mesaje și afișează verdictul pentru fiecare.
- Scrie funcția este_spam(text): transformă textul în litere mici și întoarce True dacă el conține gratuit sau câștigat.
- Parcurge lista mesaje din editor.
- Pentru fiecare mesaj afișează mesaj -> spam sau mesaj -> normal.
Soluția exercițiului
mesaje = [
"Ai câștigat un voucher de 500 de lei!",
"Ședința de proiect începe la 10",
"Livrare GRATUITĂ doar azi",
"Ți-am trimis factura pe email",
]
def este_spam(text):
text = text.lower()
return "gratuit" in text or "câștigat" in text
for m in mesaje:
eticheta = "spam" if este_spam(m) else "normal"
print(f"{m} -> {eticheta}") Vrei să afli mai mult?Funcția este_spam · Aplicarea pe mai multe mesaje · Limitele regulilor scrise de mână · Greșeli frecvente · Reguli scrise de mână în lumea reală
Funcția este_spam
Transformi regula într-o funcție care primește un text și întoarce True sau False. Folosești lower() ca să prinzi și „GRATUIT” sau „Gratuit”:
def este_spam(text):
text = text.lower()
return "gratuit" in text or "câștigat" in text
print(este_spam("Transport GRATUIT azi"))
print(este_spam("Ne vedem la 18"))True False
Această funcție este deja un clasificator: primește un exemplu și întoarce o clasă (spam sau normal). Doar că regula ai scris-o tu, nu a învățat-o din date.
Aplicarea pe mai multe mesaje
Ca să vezi cum se comportă regula, o aplici pe o listă de mesaje și afișezi rezultatul ca text:
def este_spam(text):
text = text.lower()
return "gratuit" in text or "câștigat" in text
mesaje = ["Ai câștigat o mașină!", "Raportul e gata"]
for m in mesaje:
eticheta = "spam" if este_spam(m) else "normal"
print(f"{m} -> {eticheta}")Ai câștigat o mașină! -> spam Raportul e gata -> normal
Limitele regulilor scrise de mână
Regula pare bună, dar se strică ușor:
- Fals pozitiv: „Parcarea e gratuită după ora 18” e un mesaj normal, dar conține „gratuit”.
- Fals negativ: „Oferta zilei: credit fără acte, aprobat în 5 minute” e spam, dar nu conține niciun cuvânt din listă.
- Spammerii se adaptează: scriu „gr@tuit” sau „câștig4t” și regula nu-i mai prinde.
- Lista crește la nesfârșit: după 200 de cuvinte și excepții, nimeni nu mai înțelege regula.
def este_spam(text):
text = text.lower()
return "gratuit" in text or "câștigat" in text
print(este_spam("Parcarea e gratuită după ora 18"))
print(este_spam("Credit fără acte, aprobat în 5 minute"))True False
Un model ML învață din mii de mesaje etichetate ce cuvinte și combinații de cuvinte contează, cu câtă greutate, și se poate reantrena când spammerii își schimbă stilul. Vei construi un astfel de filtru mai târziu în curs.
Greșeli frecvente
- Uiți de lower(): „GRATUIT” nu conține „gratuit”, pentru că literele mari și mici sunt diferite pentru Python.
- Scrii "gratuit" or "câștigat" in text: Python citește "gratuit" or (...), iar un text nevid e mereu adevărat, deci totul devine spam. Scrie condiția completă de două ori.
- Diacriticele: „castigat” fără diacritice nu este același text cu „câștigat”.
Reguli scrise de mână în lumea reală
Primele filtre de spam din anii '90 erau exact liste de cuvinte.
Regulile fixe („plată peste 10.000 lei în altă țară”) se folosesc și azi, lângă modelele ML.
Listele de cuvinte interzise prind o parte din abuzuri, restul îl prind modelele.
