Proiect interpretor: tokenizarea
Cum înțelege un compilator textul x = 3 + 4 * y? Primul pas este analiza lexicală (tokenizarea): textul este tăiat în bucăți cu sens, numite token-uri: un identificator x, semnul =, numărul 3 și așa mai departe. În două lecții vei construi un mic interpretor de expresii; azi scrii lexer-ul.
Ce este un token
Un token este cea mai mică unitate cu înțeles a unui limbaj. Spațiile nu contează (3+4 și 3 + 4 dau aceleași token-uri), dar 34 este un singur număr, nu două cifre. Fiecare token are un tip și, uneori, o valoare.
typedef enum {
TOK_NUMAR, TOK_IDENT, TOK_PLUS, TOK_MINUS, TOK_ORI, TOK_IMPARTIT,
TOK_EGAL, TOK_PAR_ST, TOK_PAR_DR, TOK_SFARSIT, TOK_NECUNOSCUT
} TipToken;
typedef struct { Scrie funcția urmatorul_token după cei 5 pași din lecție. Programul afișează token-urile pentru două surse. Rezultatul exact: Sursa: total = (pret_unitar + 15) * 2 / cantitate IDENT 'total' EGAL '=' PAR_ST '(' IDENT 'pret_unitar' PLUS '+' N…
- Sari peste spații cu un while.
- Pentru numere: isdigit, valoarea cu * 10 +, copiază și textul.
- Pentru identificatori: isalpha sau _ la început, apoi isalnum sau _.
- Pentru restul: switch, text de un caracter și avansează lx->p.
Restul explicațiilor, editorul și verificarea automată se deblochează cu Junior C Developer.

Mihai Bode
Ioana Dumitrache
Marina Pahom