czak.by ITm8czak LABOpisz problem

czak LAB · publiczny rejestr eksperymentów

Dowodzimy, gdzie czaki
wnoszą unikalną wartość
do pracy z LLM.

Projektujemy eksperymenty, które pokazują, w jakich obszarach czaki usprawniają pracę z modelami LLM. Mierzymy przewagę, koszt i granice procesu, a wyniki publikujemy również wtedy, gdy są dla nas niewygodne.

Każdy wniosek prowadzi do danych, metody i ograniczeń pomiaru.

Eksperymenty

001

Teza

Czy proces daje temu samemu modelowi przewagę?

Ten sam model, te same zadania i to samo repozytorium. Jedno ramię pracowało bez dodatkowego procesu, drugie korzystało z procesu czaka. Porównaliśmy koszt, jakość i zdolność kolejnych sesji do odtworzenia wcześniejszych decyzji.

Budowa / Claude Sonnet12 z 12 par ukończonych po obu stronach
-3%

Budowa / Claude Sonnet: koszt -3% względem ramienia bez procesu.

Utrzymanie / Claude Sonnet6 z 6 zadań ukończonych po obu stronach
+47,8%

Utrzymanie / Claude Sonnet: koszt +47,8% względem ramienia bez procesu.

Budowa / Codex11 zweryfikowanych par
+135,6%

Budowa / Codex: koszt +135,6% względem ramienia bez procesu.

Wynik

Nie zmierzyliśmy przewagi jakościowej. Zmierzyliśmy za to mechanizm pamięci organizacyjnej: 6 z 6 nowych sesji w ramieniu procesowym wróciło do historii wcześniejszej pracy.

Na małych zadaniach dodatkowy proces bywa wyraźnym kosztem. Jego wartość pojawia się gdzie indziej: w zachowaniu intencji, odtwarzaniu decyzji i ograniczaniu sytuacji, w której kolejna osoba lub agent musi odkrywać ten sam problem od początku.