AssertionError: expected 1223 to be below 1000
Răspunsul a durat mai mult decât limita din test. Pentru un endpoint lent prin natura lui (rapoarte, exporturi), pragul trebuie să fie realist și documentat; dacă endpoint-ul ar trebui să fie rapid, e o problemă de performanță de raportat.
Explicat de Tudor Andrei Dumitrescu, Senior Software Developer, fondatorul Academiei ProgramatorilorActualizat la
Ce înseamnă
pm.expect(pm.response.responseTime).to.be.below(1000) e un test de timp simplu. Când pică, numărul din mesaj e timpul măsurat în milisecunde.
De reținut:
- timpul depinde de rețea, de mediu (Dev e de obicei mai lent decât producția) și de încărcare, deci testele cu praguri foarte strânse devin instabile (flaky);
- fiecare endpoint are pragul lui: o listă simplă poate avea 500 ms, un raport 2000 ms;
- Postman nu e o unealtă de load testing: un singur timp e un semnal, nu o măsurătoare de performanță.
Pune pragurile în variabile ({{maxMs}}), ca să le poți ajusta pe environment, și discută-le cu echipa.
De ce apare: cauzele frecvente
1Prag unic pentru tot
pm.expect(pm.response.responseTime).to.be.below(1000); // raportpm.expect(pm.response.responseTime).to.be.below(2000);Rapoartele au un SLA mai larg.
2Prag scris de mână peste tot
below(500)below(Number(pm.collectionVariables.get("maxMs")))Un prag din variabilă se schimbă într-un singur loc.
Repară eroarea, direct în pagină
Testul cererii „Raport vânzări” cere un răspuns sub 1000 ms și pică (raportul durează puțin peste o secundă). Specificația spune că rapoartele trebuie să răspundă sub 2000 ms. Corectează pragul, salvează și trimite: testul trebuie să treacă.
Indiciu
Pragul vine din specificație, nu din cel folosit la liste.
Reparația
pm.test("Raportul răspunde sub 2000 ms", function () {
pm.expect(pm.response.responseTime).to.be.below(2000);
});De ce merge
Pragul trebuie să corespundă SLA-ului endpoint-ului. Pentru raport, 2000 ms e limita din specificație; un prag prea strâns ar face testul instabil fără să indice o problemă reală. Pragul din test documentează acum cerința, nu o presupunere. Pentru endpoint-uri rapide, pragul rămâne mai mic.
Alte forme ale mesajului
AssertionError: expected 640 to be below 500
Cum o eviți pe viitor
- Stabilește pragurile pe tipuri de endpoint.
- Ține pragurile în variabile.
- Rulează de mai multe ori înainte să tragi concluzii de performanță.
- Notează pragurile în descrierea colecției, cu sursa lor (SLA, cerință).
- Repetă măsurătoarea înainte să raportezi o problemă de performanță.
Întrebări frecvente
Cât de exact e responseTime?
Include rețeaua și serverul; e bun ca semnal, nu ca benchmark.
Ce folosesc pentru load testing?
Unelte dedicate: k6, JMeter, Gatling.
Erori înrudite
AssertionError: expected 3499 to be below 1000 Testul verifică o limită (preț sub 1000), dar răspunsul conține valori peste ea. Înainte să raportezi un bug de filtrare, verifică dacă filtrul a fost trimis corect: un parametru scris greșit (max_price în loc de maxPrice) e ignorat de server. Error: ESOCKETTIMEDOUT Serverul nu a trimis niciun răspuns în timpul maxim setat pentru cerere. Mărește timeout-ul (Settings al cererii, Settings global sau --timeout-request în Newman) dacă operația e lentă în mod normal, altfel raportează lentoarea ca problemă de performanță. 504 Gateway Timeout Gateway-ul (nginx, load balancer) a așteptat prea mult după serverul aplicației și a renunțat. Endpointul e prea lent pentru limita gateway-ului: raportează lentoarea, iar pentru operațiile lungi verifică dacă API-ul are o variantă asincronă (202 + job). Învață Postman de la zero, cu exerciții la fiecare lecție
Curs API Testing cu Postman: lecții scurte, fiecare cu un exercițiu verificat automat, direct în browser. Primele 10 lecții sunt gratuite.
