Jakość
Model + Czak częściej dostarczy poprawny quote.json niż ten sam model bez Czaka.
Warunek: Globalna średnia różnic PASS B−A, z równą wagą każdego modelu, musi być dodatnia.
M1-C2 · badanie porównawcze
Czy Czak daje modelowi mierzalną przewagę?
Porównujemy ten sam model wykonujący to samo zadanie w dwóch warunkach: bez Czaka oraz z Czakiem. Sprawdzamy jakość wyniku, koszt wykonania i liczbę pytań do człowieka.
- Status
- pomiar jeszcze nieuruchomiony
- Testy modelowe
- 0/6 zakończonych
- Modele
- 3 Codex + 3 Anthropic
- Powtórzenia
- 10 par A/B na model
01
Hipoteza i cel
Współdzielona pamięć i procedury Czaka powinny poprawić pracę dwóch osobnych agentów bez zwiększania udziału człowieka.
Dlaczego to sprawdzamy: surowe sesje modelu nie mają wspólnej, należącej do organizacji pamięci roboczej. Czak ma ją zapewnić.
Zmienna: brak Czaka (A) albo ten sam model z profilem, pamięcią i narzędziami Czaka (B).
Stałe: model, dane wejściowe, zadanie, oracle, limity i symulator operatora.
Główny pomiar: czy powstał poprawny quote.json spełniający wszystkie reguły oracle.
Powtarzalność
Efekt nie może zależeć od jednego modelu ani pojedynczego szczęśliwego przebiegu.
Warunek: B>A w co najmniej 5 z 6 modeli oraz B nie jest gorsze od A w żadnym modelu.
Pomoc człowieka
Czak ma zmniejszyć zależność od operatora, a nie przerzucić na niego pracę.
Warunek: Liczba pytań B≤A w każdym modelu i łącznie B<A.
Koszt wykonania
Czak ma zużyć mniej wywołań modelu i mniej tokenów na ten sam wynik.
Warunek: Mediana B/A<1 dla requestów i tokenów, liczona osobno wewnątrz każdego modelu.
Przenośność
Efekt ma wystąpić zarówno w modelach Codex, jak i Anthropic.
Warunek: Średnia różnica PASS B−A musi być dodatnia osobno w obu rodzinach.
02
Jedno zadanie
Przekazać warunki handlowe między dwoma agentami i wystawić poprawną ofertę.
Krok 1: Agent 1 otrzymuje zatwierdzone warunki handlowe, ale nie zna jeszcze przyszłego zamówienia.
Krok 2: Agent 1 zapisuje ustalenia: w A przez zwykły stan plikowy, w B przez pamięć i procedury Czaka.
Krok 3: Agent 2 startuje w świeżym kontekście, dostaje zamówienie i ma przygotować quote.json.
Krok 4: deterministyczny oracle sprawdza pozycje, ceny, rabaty, podatek, sumy, termin płatności i źródło.
03
Dwa warunki
Model dostaje tę samą robotę. Różni się tylko warstwa Czaka.
Raw model
A1 zapisuje warunki w zwykłym stanie plikowym. A2 ma je odczytać i przygotować ofertę.
- Model
- ten sam co w B
- Konteksty
- A1 i A2 są świeże
- Przekazanie
- plik
Model + Czak
B1 zapisuje pełne warunki przez Czaka. B2 korzysta z tej pamięci i procedury publikacji oferty.
- Model
- ten sam co w A
- Konteksty
- B1 i B2 są świeże
- Przekazanie
- pamięć i narzędzia Czaka
Teza jednostkowa każdego powtórzenia jest taka sama: przy identycznym modelu i wejściu B ma dostarczyć wynik co najmniej tak dobry jak A, przy mniejszym lub równym udziale operatora. Powtórzenia mierzą stabilność, nie dziesięć różnych zadań.
04
Dziesięć powtórzeń
Dokładna kolejność wykonywana dla każdego modelu
| Powtórzenie | Kolejność | Rola w serii | Zadanie A | Zadanie B | Dowód |
|---|---|---|---|---|---|
| P01 | A1 → B1 → A2 → B2 | początek od raw | A1 zapisuje warunki; A2 tworzy ofertę | B1 zapisuje wiedzę; B2 tworzy ofertę | artefakt, oracle, tokeny, requesty, HITL, czas |
| P02 | B1 → A1 → B2 → A2 | odwrócenie kolejności | A1 zapisuje warunki; A2 tworzy ofertę | B1 zapisuje wiedzę; B2 tworzy ofertę | artefakt, oracle, tokeny, requesty, HITL, czas |
| P03 | B1 → A1 → B2 → A2 | powtórzenie kolejności BA | A1 zapisuje warunki; A2 tworzy ofertę | B1 zapisuje wiedzę; B2 tworzy ofertę | artefakt, oracle, tokeny, requesty, HITL, czas |
| P04 | A1 → B1 → A2 → B2 | powrót do kolejności AB | A1 zapisuje warunki; A2 tworzy ofertę | B1 zapisuje wiedzę; B2 tworzy ofertę | artefakt, oracle, tokeny, requesty, HITL, czas |
| P05 | A1 → B1 → A2 → B2 | powtórzenie kolejności AB | A1 zapisuje warunki; A2 tworzy ofertę | B1 zapisuje wiedzę; B2 tworzy ofertę | artefakt, oracle, tokeny, requesty, HITL, czas |
| P06 | B1 → A1 → B2 → A2 | kontrola BA w środku serii | A1 zapisuje warunki; A2 tworzy ofertę | B1 zapisuje wiedzę; B2 tworzy ofertę | artefakt, oracle, tokeny, requesty, HITL, czas |
| P07 | A1 → B1 → A2 → B2 | kontrola AB w drugiej połowie | A1 zapisuje warunki; A2 tworzy ofertę | B1 zapisuje wiedzę; B2 tworzy ofertę | artefakt, oracle, tokeny, requesty, HITL, czas |
| P08 | B1 → A1 → B2 → A2 | kontrola BA w drugiej połowie | A1 zapisuje warunki; A2 tworzy ofertę | B1 zapisuje wiedzę; B2 tworzy ofertę | artefakt, oracle, tokeny, requesty, HITL, czas |
| P09 | B1 → A1 → B2 → A2 | drugie kolejne BA | A1 zapisuje warunki; A2 tworzy ofertę | B1 zapisuje wiedzę; B2 tworzy ofertę | artefakt, oracle, tokeny, requesty, HITL, czas |
| P10 | A1 → B1 → A2 → B2 | zamknięcie serii; bilans 5×AB i 5×BA | A1 zapisuje warunki; A2 tworzy ofertę | B1 zapisuje wiedzę; B2 tworzy ofertę | artefakt, oracle, tokeny, requesty, HITL, czas |
Kolejność jest zamrożona przed pomiarem: pięć razy AB i pięć razy BA. Ogranicza wpływ tego, które ramię wykonuje się pierwsze.
05
Sześć testów modelowych
Każdy model to osobny test z dziesięcioma parami A/B
| Rodzina | Model | Transport | Plan | Raw PASS | Czak PASS | HITL A/B | Status |
|---|---|---|---|---|---|---|---|
| Codex | gpt-5.6-luna | codex-cli 0.154.0 | test 1/6 · P01–P10 | — | — | — | 0/10 |
| Codex | gpt-5.6-terra | codex-cli 0.154.0 | test 2/6 · P01–P10 | — | — | — | 0/10 |
| Codex | gpt-5.6-sol | codex-cli 0.154.0 | test 3/6 · P01–P10 | — | — | — | 0/10 |
| Anthropic | claude-haiku-4-5-20251001 | Claude Code 2.1.126 | test 4/6 · P01–P10 | — | — | — | 0/10 |
| Anthropic | claude-sonnet-4-6 | Claude Code 2.1.126 | test 5/6 · P01–P10 | — | — | — | 0/10 |
| Anthropic | claude-opus-4-6 | Claude Code 2.1.126 | test 6/6 · P01–P10 | — | — | — | 0/10 |
Łącznie: 6 testów modelowych, 10 par A/B w każdym, 60 raportów. Wyniki nie są jeszcze dostępne.
06
Wyniki i wnioski
Na razie nie ma wyniku, z którego wolno wyciągać wnioski.
| Pytanie | Wynik | Wniosek |
|---|---|---|
| H1 · Jakość | brak danych | NIEROZSTRZYGNIĘTE |
| H2 · Powtarzalność | brak danych | NIEROZSTRZYGNIĘTE |
| H3 · Pomoc człowieka | brak danych | NIEROZSTRZYGNIĘTE |
| H4 · Koszt wykonania | brak danych | NIEROZSTRZYGNIĘTE |
| H5 · Przenośność | brak danych | NIEROZSTRZYGNIĘTE |
Po zakończeniu pokażemy także wyniki niekorzystne dla Czaka. FAIL, błąd transportu i zatrzymanie kampanii nie będą usuwane z raportu.
07
Final notes
Granice badania
To test jednego syntetycznego przypadku przekazania wiedzy. Nie dowodzi przewagi Czaka w każdej klasie zadań.
- pilot historyczny nie wchodzi do wyniku
- tokeny porównujemy tylko wewnątrz tego samego modelu
- modele mają równą wagę w agregacie
- człowieka zastępuje deterministyczny symulator
- awaria infrastruktury zatrzymuje kampanię bez podmiany wyniku
- nowa próba po poprawce wymaga nowej wersji manifestu i pełnego restartu
08
Traceability
Od hipotezy do kodu i każdego raportu
Prerejestracja i dziennik badanialee#354Implementacja i dziennik fakapówczak-v2#7899Zmiany kontroleraPR #7920 · HEAD 422703a8Zamrożony manifest 6×10m1_c2_v1_manifest.jsonRunner pojedynczego powtórzeniam1_subscription_trial.pyWeryfikator pełnej macierzym1_matrix_verify.py
Po zakończeniu badania pojawią się tu także: komplet 60 raportów, agregat, wyniki oracle, skróty SHA256 i paczka pozwalająca ponownie przeliczyć wynik offline.