Muzeum bezużytecznych metryk ma nowy eksponat

Ciao! 🇵🇱🇮🇹

Ktoś stworzył „Museum of Meaningless Metrics” i właśnie otworzył czwarty eksponat: licznik tokenów wyświetlający 9 876 543 210.

Śmiech przez chwilę. Potem ta znajoma gorzkość.

Lecimy z tematem 🚀

Tokeny to nowe linie kodu

Przez lata mierzyliśmy produktywność linią kodu. Napisałeś tysiąc linii dzisiaj? Świetny dzień. Że połowa to boilerplate, a druga nie robi nic pożytecznego? Szczegół.

Potem przyszedł Agile ze story pointami. Velocity rosła. Zamykaliśmy sprinty na czas. Nikt nie pytał, czy dostarczyliśmy coś, co wnosi wartość.

AI przyniosło tokeny.

W tym roku firmy zaczęły mierzyć „AI adoption” liczbą tokenów. Więcej tokenów, bardziej produktywni. Brzmi poważnie w raporcie dla zarządu.

Pracownicy Amazona uruchamiali agentów do bezsensownych zadań. Żeby licznik rósł. Dokładnie to samo co z linią kodu 20 lat temu.

Fortune opisało to jako „tokenmaxxing” i ogłosiło jego śmierć. Firmy przepalały pieniądze i nie widziały zwrotu. TechCrunch opisuje to jako „rachunek za tokeny, który właśnie przyszedł”. Działy finansowe zaczęły ciąć zużycie. CFO zrobił to, czego CEO nie zdążył.

Schemat jest zawsze ten sam. Mierzysz input zamiast output. Input jest prosty do policzenia, więc go liczysz. Optymalizujesz input zamiast wyniku.

Właściwa metryka jest zawsze nudna i trudna do policzenia. Problem rozwiązany. Klient, który wrócił. Bilet zamknięty bez regresji.

Wszystko inne to kolejny eksponat do muzeum.

🛠️ Narzędzie

PostHog

Open-source analytics, który mierzy efekty, nie inputy. Używam go na CelneCV: zamiast liczyć, ile razy agent się uruchomił, patrzę, gdzie użytkownik rezygnuje z procesu. Jedna sesja nagrania robi więcej dla produktu niż tydzień liczenia tokenów.

posthog.com

🌍 Ze świata

• Tokenmaxxing is over. Fortune ogłasza śmierć obsesji na punkcie tokenów. W IT robimy to od lat: mierzymy to, co łatwe, nie to, co ważne.

• The token bill comes due. TechCrunch o tym, jak działy finansowe zaczęły aktywnie ciąć zużycie tokenów. CFO zrobił to, czego CEO nie zdążył.

• Lines of Code Are Back (And It’s Worse Than Before). Linie kodu wróciły jako metryka, bo CEO mogą teraz chwalić się procentem kodu wygenerowanego przez AI. Muzeum działa pełną parą.

😄 Na koniec

Kurator już szykuje miejsce na kolejny eksponat. Podobno „Prompty wysłane” jest już w drodze.

Jeśli ktoś w Twoim otoczeniu powinien to przeczytać, prześlij mu ten numer. To najlepsza forma wsparcia.