Budowa / Claude Sonnet
Remis w granicach obserwowanej zmienności; brak przewagi jakościowej.
BAKEOFF-OM · pomiar producenta
Nie wyszło „lepiej i taniej”.
Wyszło coś ważniejszego.
Ten sam model, te same zadania i to samo repozytorium. Jedno ramię pracowało bez dodatkowego procesu, drugie korzystało z procesu czaka. Porównaliśmy koszt, jakość i zdolność kolejnych sesji do odtworzenia wcześniejszych decyzji.
- Pomiar wykonany przez producenta
- Publiczne dane i skrypty analityczne
- Niezależna atestacja oczekuje
01
Odpowiedź
Sam proces nie zrobił lepszego kodu.
W pierwszej fazie koszt obu ramion był praktycznie taki sam. W utrzymaniu proces kosztował więcej. Na wydajniejszym silniku kosztował znacznie więcej i nie uzyskał przewagi jakościowej. To ważny wynik: nie będziemy sprzedawać tezy, której eksperyment nie potwierdził.
Zmierzyliśmy jednak, że nowa sesja potrafiła wrócić do wcześniejszych decyzji, zamiast rekonstruować problem wyłącznie z aktualnego kodu.
02
Trzy fazy
Koszt ramienia procesowego
Budowa / Claude Sonnet12 z 12 par ukończonych po obu stronach
-3%Budowa / Claude Sonnet: koszt -3% względem ramienia bez procesu.
Utrzymanie / Claude Sonnet6 z 6 zadań ukończonych po obu stronach
+47,8%Utrzymanie / Claude Sonnet: koszt +47,8% względem ramienia bez procesu.
Budowa / Codex11 zweryfikowanych par
+135,6%Budowa / Codex: koszt +135,6% względem ramienia bez procesu.
Utrzymanie / Claude Sonnet
Proces kosztował więcej, ale każda nowa sesja odtworzyła kontekst z historii pracy.
Budowa / Codex
Proces przegrał kosztowo; wynik jakościowy nie wykazał rekompensującej przewagi.
03
Co rzeczywiście zadziałało
6 / 6
zadań utrzymaniowych, w których świeża sesja ramienia procesowego sięgnęła do historii pracy
Problem rozwiązany raz może zostać odnaleziony później.
Ramię procesowe przeczytało historię Git 14 razy i otworzyło wcześniejsze zgłoszenia lub pull requesty 25 razy. Ramię bez procesu przeczytało historię raz i nie otworzyło żadnego wcześniejszego zgłoszenia.
To nie jest jeszcze dowód oszczędności w skali firmy. Jest to dowód mechanizmu, na którym taka oszczędność może powstać: intencja przechodzi do następnej sesji razem z pracą.
04
Granice wyniku
Czego ten eksperyment nie dowodzi
Nie dowodzi, że czak zawsze tworzy lepszy kod niż sam model.
Nie dowodzi, że dodatkowy proces zawsze obniża koszt pojedynczego zadania.
Nie dowodzi jeszcze oszczędności ani wzrostu jakości w skali całej organizacji.
Pomiar wykonał producent. Publiczne dane można analizować ponownie, ale niezależna atestacja nadal jest potrzebna.