← Wróć do bloga

Test był zielony także bez poprawki.
Asercja przeczekała błąd, który miała złapać

11.11.2026
Ten wpis to archiwum newslettera. Czytaj oryginał na Substack →

Ciao! 🇵🇱🇮🇹

W celneCV naprawiłem błąd, dopisałem do niego test i zielony wynik prawie mnie przekonał. Ten sam test przechodził też na kodzie sprzed poprawki.

Lecimy z tematem 🚀


Test, który umiał czekać

Na stronie celneCV z dopasowanymi ofertami są kafelki z liczbami: ile ofert już ocenionych, ile czeka na ocenę. Na liście zgłoszeń od kolegi z projektu punkt szósty brzmiał: po zmianie filtra kafelki znikają i wracają. Agent w Claude Code znalazł przyczynę, poprawił kod i dopisał test w Playwrighcie. Test był zielony.

Objaw. Test zmieniał filtr na „Zdalnie”, spowalniał odpowiedź serwera ze statystykami o 2,5 sekundy i sprawdzał, czy kafelek „Czeka na ocenę” jest widoczny. Był. Wszystko wyglądało na naprawione.

Co się naprawdę działo. W Playwrighcie expect(kafelek).toBeVisible() nie sprawdza raz. Ponawia próbę, aż warunek się spełni albo minie limit, domyślnie 5 sekund. Kafelek znikał na 2,5 sekundy i wracał razem z odpowiedzią. Asercja spokojnie przeczekała dziurę i zgłosiła sukces, choć właśnie tę dziurę miała wykryć. Na kodzie bez poprawki wynik był identyczny.

Sam błąd też siedział gdzie indziej, niż zakładało zgłoszenie. Podejrzany był reset listy ofert. Winne okazało się zapytanie o statystyki bez danych zastępczych: na czas nowej odpowiedzi biblioteka nie miała czego pokazać, więc cały blok podsumowania znikał. Poprawka to jedna opcja w TanStack Query, placeholderData: keepPreviousData, która trzyma stare liczby, dopóki nie przyjdą nowe.

Jak to wykryć u siebie. Weź test dopisany do poprawki i uruchom go na kodzie sprzed niej. Jeśli przechodzi, niczego nie pilnuje. Najbardziej podejrzane są testy typu „coś nie znika” albo „coś nie miga” napisane asercją, która czeka. Ona zawsze w końcu zobaczy stan po wszystkim.

Jak naprawiłem. Zamiast czekającej asercji test pięć razy co 300 milisekund pyta isVisible(), które odpowiada od razu. Potem kontrola: przywróciłem plik sprzed poprawki i test musiał paść. Padł. Tego samego dnia ta sama kontrola złapała drugi test, od odpytywania statusu CV, który też przechodził bez poprawki. Liczył zapytania w oknie czasowym i łapał parę startową, teraz mierzy odstępy między nimi.

Czego to uczy. Test, którego nie widziałeś czerwonego, jest tylko obietnicą. Zanim uznasz poprawkę za sprawdzoną, zobacz, jak jej test pada bez niej.


🛠️ Narzędzie

git show <commit>^:<plik>

To polecenie wypisuje plik w wersji z dowolnego commita, a ^ oznacza jego rodzica, czyli stan sprzed zmiany. Przy teście odpytywania statusu podmieniłem nim plik na wersję bez poprawki (git show HEAD^:src/plik.ts > src/plik.ts), puściłem test i zobaczyłem czerwień. Powrót do bieżącej wersji to git checkout -- src/plik.ts. Polecam, bo git stash tu nie pomoże: chowa tylko niezacommitowane zmiany, a poprawka zwykle siedzi już w commicie.

https://git-scm.com/docs/git-show


🌍 Ze świata

  • Assertions | Playwright. Zdanie „By default, the timeout for assertions is set to 5 seconds” stoi w dokumentacji czarno na białym. Pięć sekund cierpliwości to zaleta, dopóki nie testujesz czegoś, co trwa krócej.
  • Probe to Generate: Program Variant-Guided Test Augmentation for Repository-Level Repair Benchmarks. Autorzy tworzyli lekko zmienione wersje poprawek w SWE-bench Verified, zestawie, na którym porównuje się agentów programujących, i w 77% zadań testy przepuszczały co najmniej jedną z nich. Skoro przecieka benchmark, na którym ścigają się największe laboratoria, mój test kafelków ma przynajmniej dobre towarzystwo.
  • The Test Passed and the Value Was Wrong. Dwa błędy przechodziły CI przy każdym uruchomieniu, bo testy sprawdzały tylko, czy klucz istnieje i czy liczba jest dodatnia. Ta sama choroba w innym przebraniu: test pyta o coś, co jest prawdą także przy zepsutym kodzie.

😄 Na koniec

Ilustracja w stylu risografii: klepsydra z czerwonym piaskiem na drewnianym biurku, obok rząd pięciu kartek, w środku brakuje jednej

toBeVisible() patrzy na pusty środek i mówi: spokojnie, mam jeszcze pięć sekund.


Jeśli ktoś w Twoim otoczeniu powinien to przeczytać, prześlij mu ten numer. To najlepsza forma wsparcia.

A jeśli wolisz wesprzeć bezpośrednio: postaw mi kawę.

Cieszę się, że tu jesteś! Aby nie przegapić kolejnych wpisów i pomóc mi tworzyć więcej takich treści, dołącz do grona subskrybentów. To nic nie kosztuje.

Dołącz do Marini Brief →