Przejdź do treści
agentGreg EN · PLUmów 30 min

Analiza · AI w produkcji · październik 2026

Twoje AI myśli za długo: czym jest AI Systemu 1

Przez dwa lata branża uczyła modele językowe myśleć wolno. Tymczasem większość pytań, które firma zadaje AI, ma krótką listę dozwolonych odpowiedzi, a nowa klasa modeli wybiera jedną z nich w milisekundach.

Grzegorz Brzezinka· 1 października 2026· analiza + własny eksperyment

W skrócie

Daniel Kahneman podzielił ludzkie myślenie na szybki, automatyczny System 1 i wolny, wysiłkowy System 2. Od premiery modelu o1 firmy OpenAI we wrześniu 2024 dostawcy AI inwestują w stronę Systemu 2: modele, które „myślą”, zanim odpowiedzą. Pomaga to przy matematyce i kodzie, a przy każdym wywołaniu kosztuje tokeny i sekundy. We wrześniu 2026 firma TypeSafe AI, współzałożona przez byłego badacza OpenAI Diogo Almeidę, pokazała Jev, model, który w ogóle nie pisze tekstu. Dostaje sytuację i listę dozwolonych odpowiedzi, a zwraca jedną z nich z prawdopodobieństwem. Remigiusz Kinas zbudował już otwarty polski odpowiednik, basal, na bazie Bielika. Badania Mety pokazują, gdzie szybka odpowiedź działa (ocena odpowiedzi w 4 tokenach zamiast 2118) i gdzie się sypie (matematyka szkolna). Sprawdziłem oba modele na mniej więcej 400 polskich decyzjach biznesowych, z obsługi klienta i z dwunastu innych dziedzin. Jev miał rację w 98,0% i 94,6% przypadków, w niecałe 300 milisekund i po około dwa centy za tysiąc decyzji, a przy ostrym progu pewności sam rozstrzygnął ponad trzy czwarte przypadków bez ani jednego błędu. basal, który działa na własnym sprzęcie, osiągnął 86,9% i 81,9%. Model, który myśli przed odpowiedzią, nie pomylił się ani razu, za cenę 3 do 4 sekund na decyzję. U Jev prawie cała różnica do modelu myślącego bierze się z reguł z warunkami; basal traci punkty także gdzie indziej. W teście uzupełniającym rozbicie takich reguł na proste pytania i liczenie dat i kwot w kodzie dało Jev 99 na 99 spraw z regułami, a basal-4.5B 96,0%. Na końcu jest lista kroków, jak sprawdzić to we własnym procesie.

Pytanie na pierwszą sekundę

Kij i piłka kosztują razem 1,10 zł. Kij jest o złotówkę droższy od piłki. Ile kosztuje piłka?

Jeśli „10 groszy” pojawiło się, zanim skończyłeś czytać, jesteś w dobrym towarzystwie. Shane Frederick umieścił to pytanie w swoim Teście Refleksji Poznawczej w 2005 roku (w oryginale w dolarach), a Kahneman podaje, że ponad połowa studentów Harvardu, MIT i Princeton dała intuicyjną odpowiedź. Poprawna to 5 groszy: kij kosztuje 1,05 zł, czyli dokładnie złotówkę więcej.

Wokół takich chwil Kahneman zbudował „Pułapki myślenia. O myśleniu szybkim i wolnym” (2011). System 1 odpowiada od razu i bez wysiłku: rozpoznaje twarz w tłumie i podsuwa „10 groszy”. System 2 jest potrzebny przy 17 × 24. Jest wolny i męczący, a przy tym potrafi sprawdzić, co zaproponował System 1. Same nazwy pochodzą od psychologów Keitha Stanovicha i Richarda Westa (2000). Kahneman traktuje oba systemy jako wygodny sposób opisu umysłu i nie umieszcza ich w konkretnych miejscach mózgu.

Jedno uczciwe zastrzeżenie, zanim oprę się na tej książce. Nie wszystko w niej przetrwało kryzys replikacji w psychologii. Rozdział o primingu społecznym się nie obronił i Kahneman sam to przyznał w 2017 roku: „I placed too much faith in underpowered studies” (za bardzo zaufałem badaniom na zbyt małych próbach). Model dwóch systemów i wynik z kijem i piłką stoją na dużo solidniejszym gruncie, i tylko na nich opiera się ten artykuł.

zagadka z kijem i piłką, rozwiązana dwa razykij + piłka = 1,10 zł · kij o 1 zł droższy · Frederick 2005System 1szybki, automatyczny10 groszyźle, za to od razuSystem 2wolny, wysiłkowy5 groszydobrze, po sprawdzeniuczas do odpowiedzizagadka z kijem i piłką, rozwiązana dwa razykij + piłka = 1,10 zł · kij o 1 zł droższy · Frederick 2005
Zagadka z kijem i piłką rozwiązana przez oba systemy. System 1 dociera pierwszy z odpowiedzią 10 groszy, która jest błędna. System 2 dochodzi później do 5 groszy, co jest poprawne. Rysunek pokazuje kolejność, czasy są umowne.

Dwa lata uczenia AI wolnego myślenia

Świat AI szybko pożyczył słownik Kahnemana. W grudniu 2019 na NeurIPS Yoshua Bengio wygłosił wykład „From System 1 Deep Learning to System 2 Deep Learning”: sieci neuronowe świetnie radzą sobie z percepcją, a kolejnym krokiem jest rozumowanie. W listopadzie 2023 Andrej Karpathy opisał ówczesne duże modele językowe jako czysty System 1, który losuje słowo po słowie i nie potrafi się zatrzymać, żeby coś sprawdzić.

Potem branża na serio wzięła się za System 2. o1 od OpenAI (wrzesień 2024) zużywa dodatkowe obliczenia na długi wewnętrzny tok rozumowania, zanim odpowie. Anthropic przedstawił Claude 3.7 Sonnet (luty 2025) jako pierwszy model hybrydowy, który może odpowiedzieć od razu albo długo pomyśleć. Qwen3 (kwiecień 2025) miał jeden model z przełącznikiem myślenia, a w lipcu 2025 zespół Qwen rozdzielił go z powrotem na osobne modele, szybki i myślący, bo tak z każdego da się wycisnąć najlepszą jakość. GPT-5 (sierpień 2025) dostał router, który sam decyduje, kiedy pytanie zasługuje na wolną ścieżkę.

Firma płaci za to w dwóch walutach. Myślenie kosztuje tokeny: na przykład w Claude tokeny myślenia są rozliczane jak tokeny wyjściowe, czyli najdroższe. I kosztuje czas. Model myślący potrafi potrzebować kilkudziesięciu sekund do pierwszego słowa odpowiedzi. Okienko czatu to zniesie, infolinia nie: w badaniu dziesięciu języków Stivers i współpracownicy (PNAS, 2009) pokazali, że ludzie odpowiadają sobie w ciągu 0 do 200 milisekund od końca wypowiedzi rozmówcy.

dwa lata uczenia AI wolnego myśleniadaty ogłoszeń · Jev pochodzi z TypeSafe AIXII 2019Bengio„deep learning Systemu 2”IX 2024OpenAI o1myśli przed odpowiedziąII 2025Claude 3.7hybryda: szybko albo wolnoVII 2025Qwen3rozdziela się na dwa modeleVIII 2025GPT-5router wybiera trybIX 2026Jevmodel, który tylko decydujezwrotdwa lata uczenia AI wolnego myśleniadaty ogłoszeń · Jev pochodzi z TypeSafe AI
Od wykładu Bengia w 2019 do routera w GPT-5 w 2025 wysiłek branży szedł w stronę wolniejszych, bardziej rozważnych modeli. Jev, pokazany we wrześniu 2026, idzie w drugą stronę: to model zbudowany wyłącznie do szybkich decyzji.

Jev: model, który nie pisze

15 września 2026 firma TypeSafe AI z San Francisco wyszła z trybu stealth z rundą seed 40 mln dolarów prowadzoną przez DCVC. Jej CEO Diogo Almeida spędził około czterech lat w OpenAI przy InstructGPT, ChatGPT i GPT-4, a wcześniej pracował w Google Brain. Wpis premierowy mówi to wprost: „We were inspired by Daniel Kahneman, Thinking, Fast and Slow.” Nazwa modelu pochodzi od Williama Stanleya Jevonsa, ekonomisty od paradoksu Jevonsa: kiedy zasób tanieje, zwykle zużywamy go więcej.

Jev nie generuje tekstu. Wysyłasz mu opis sytuacji i pytanie określonego typu, a on zwraca rozkład prawdopodobieństwa dla odpowiedzi, na które pozwalasz. Są trzy rodzaje pytań: choice (wybierz jedną z opcji), score (oceń) i pytanie tak/nie, które TypeSafe nazywa noul. Firma podaje 70 do 500 milisekund na decyzję, 0,042 dolara za milion tokenów wejściowych i nic za wyjście, bo nie ma tekstu, za który trzeba by zapłacić.

Dwa prawdziwe wywołania z mojego testu, basal-4.5B „Dzień dobry, kupiłem u Państwa czajnik elektryczny (zamówienie 45821). Po tygodniu przestał grzać, lampka się świeci, ale woda jest zimna. Proszę o wymianę na nowy albo zwrot pieniędzy.”
pytanie:    Czy to reklamacja?        (tak / nie)
odpowiedź:  tak  0,990                112 ms
„Moja paczka miała przyjść w poniedziałek, jest czwartek, a status w śledzeniu od trzech dni to »w drodze«. Gdzie jest moja przesyłka?”
pytanie:    Który dział to obsłuży?   (reklamacje / płatności / dostawa / techniczny / sprzedaż)
odpowiedź:  dostawa  0,997            117 ms

Model generatywny z tym samym zadaniem pisze zdanie, a twój kod musi mieć nadzieję, że znajdzie w nim jedno ze spodziewanych słów. Model decyzyjny nie może odpowiedzieć spoza listy. TypeSafe reklamuje to jako model, który „nie może halucynować”, co jest prawdą tylko w wąskim sensie: nadal może wybrać złą opcję z listy, po prostu nie wymyśli nowej. A liczby z nagłówków, 193,6 razy szybciej i 444,6 razy taniej, pochodzą z testów samego TypeSafe na czterech wewnętrznych procesach, ocenianych względem uśrednionych odpowiedzi dwóch dużych modeli, a nie etykiet sprawdzonych przez ludzi. TypeSafe sam określa je jako „on the higher end”. Nie ma raportu technicznego ani publicznych wag, więc to deklaracje, a nie wyniki. Moje własne pomiary Jev są niżej i wypadły lepiej, niż się spodziewałem.

napisać wypracowanie czy wybrać odpowiedźilustracja dwóch kształtów wywołania, nie benchmarkgeneratywny LLMe-mail klienta+ instrukcjeLLMtoken po tokenieparseroby pasowałopłacisz za każde słowo, potem je parsujeszmodel decyzyjny Systemu 1e-mail klienta+ dozwolone odpowiedzimodel decyzyjnyjedno przejściereklamacja: 0,93+ prawdopodobieństwoodpowiedź zawsze jest jedną z opcjinapisać wypracowanie czy wybrać odpowiedźilustracja dwóch kształtów wywołania, nie benchmark
Dwa sposoby zapytania modelu, czy e-mail jest reklamacją. Model generatywny pisze tokeny, za które płacisz i które potem parsujesz. Model decyzyjny w jednym przejściu zwraca jedną z dozwolonych odpowiedzi z prawdopodobieństwem. To ilustracja dwóch kształtów wywołania, nie benchmark.

Pierwsze znane mi niezależne użycie jest akademickie. Badacze z University of Texas at Dallas opublikowali Jev-Mem (arXiv, 21 września 2026), gdzie Jev zarządza pamięcią agenta AI: decyduje, jakiego rodzaju wspomnieniem jest obserwacja, które wspomnienia są powiązane i kiedy przestać szukać. Zwykły model językowy pisze tylko końcową odpowiedź. Na benchmarku długich rozmów LoCoMo, gdzie odpowiedzi ocenia inny model językowy, raportują wynik ogólny 0,777 wobec 0,700 dla najmocniejszego konkurenta, 158 sekund na zbudowanie pamięci wobec 1044 sekund u najszybszego konkurenta i 0,93 sekundy na zapytanie. To jeden benchmark, najmocniejszy konkurent to wcześniejszy system tych samych autorów, a tekst miejscami nie zgadza się z własnymi tabelami, więc czytam to jako wczesny sygnał, jak ludzie będą używać takich modeli.

Gdzie szybka decyzja wystarcza

Wystarczy przejrzeć ruch w typowym procesie obsługi klienta albo back-office, żeby zobaczyć, że większość pytań zadawanych tam AI ma zamkniętą odpowiedź. Do którego zespołu trafia zgłoszenie. Czy klient jest zdenerwowany. Czy to reklamacja w rozumieniu regulaminu zwrotów. Czy formularz ma wszystkie wymagane pola, o ile reguła jest prosta. Czy teraz powinien przejąć człowiek. Czy tę odpowiedź można bezpiecznie wysłać. Żadne z tych pytań nie wymaga wypracowania, a każde pada tysiące razy dziennie, więc czas i koszt się sumują.

Za tym pomysłem stoi też mocny wynik badawczy. W pracy „Distilling System 2 into System 1” (Meta, lipiec 2024) Ping Yu i współpracownicy kazali modelowi wiele razy długo rozumować, zostawili odpowiedzi, co do których model był zgodny sam ze sobą, i nauczyli go podawać je od razu. Jako sędzia jakości odpowiedzi szybka wersja zgadzała się z ludzkimi oceniającymi w 58,4% przypadków, używając 4 tokenów, wobec 49,1% dla wolnej metody rozumowania, która zużywała 2118 tokenów. W tym zadaniu pokonała GPT-4. W teście odporności na tendencyjne, sugerujące pytania szybka wersja uzyskała 81,3% wobec 76,0% dla wolnej metody, przy 56 tokenach zamiast 147.

Ta sama praca jest też najlepszą etykietą ostrzegawczą. Na GSM8k, zbiorze szkolnych zadań z treścią, szybka wersja uzyskała 7,1%, wobec 52,8% przy rozumowaniu krok po kroku. Na niektóre pytania nie da się odpowiedzieć bez przemyślenia, u modeli tak samo jak u ludzi. Praktyczna zasada: szybkiemu modelowi dawaj decyzje z zamkniętą odpowiedzią, a wolnemu modelowi albo człowiekowi wszystko, co trzeba przemyśleć.

szybka odpowiedź: dobry sędzia, słaby matematykYu i in. (Meta) 2024 · Llama-2-70B · OASST2 i GSM8k0306049.1%myślący2118 tokenów58.4%szybki4 tokeny52.8%myślącyłańcuch myśli7.1%szybkipo destylacjisędzia: zgodność z ludźmimatematyka: poprawnieszybka odpowiedź: dobry sędzia, słaby matematykYu i in. (Meta) 2024 · Llama-2-70B · OASST2 i GSM8k
Wyniki destylacji Mety na Llama-2-70B. Jako sędzia jakości odpowiedzi szybki model zgadza się z ludźmi w 58,4% przypadków przy 4 tokenach, wobec 49,1% dla metody rozumowania przy 2118 tokenach. Na matematyce szkolnej (GSM8k) szybki model ma 7,1% poprawnych odpowiedzi, wobec 52,8% przy rozumowaniu krok po kroku.

Szybkość zmienia też to, jakie produkty w ogóle da się zbudować. Agent głosowy, który przy każdej wypowiedzi zawiesza się na kilka sekund, sprawia wrażenie zepsutego, niezależnie od jakości odpowiedzi. Decyzja w kilkadziesiąt milisekund mieści się w przerwie, jaką ludzie zostawiają w zwykłej rozmowie, więc routing, eskalacja i kontrole bezpieczeństwa mogą działać przy każdej wypowiedzi, a dzwoniący niczego nie zauważy.

czas decyzji na tle przerwy w rozmowiemediany na zbiorze 200 decyzji z obsługi klienta · chmura z siecią · Stivers i in. 2009ludzie odpowiadają w 0-200 msbasal-4.5BH100 · raport techniczny12,5 msbasal-1.5Bmój Mac46 msbasal-4.5Bmój Mac116 msJev 1.13chmura, z Polski288 msMistral Mediumchmura, bez myślenia396 msQwen3-14Bz myśleniem · mój Mac4,1 sGemini 3.8 Flashz myśleniem · chmura4,2 s10 ms100 ms1 s10 sczas decyzji na tle przerwy w rozmowiemediany na zbiorze 200 decyzji z obsługi klienta · chmura z siecią · Stivers i in. 2009
Mediana czasu decyzji na zbiorze 200 decyzji z obsługi klienta, na skali logarytmicznej, na tle przerwy 0 do 200 milisekund, jaką ludzie zostawiają między wypowiedziami w rozmowie. basal-4.5B według raportu potrzebuje 12,5 milisekundy na H100, a na moim Macu 116, basal-1.5B 46. Jev 1.13 potrzebuje 288 milisekund mierzonych z Polski, razem z siecią. Dwa modele, które najpierw myślą, potrzebują około 4 sekund.

Polska wersja już istnieje

Pod koniec września, dwa tygodnie po premierze Jev, Remigiusz Kinas, jeden z twórców modeli Bielik, udostępnił basal: otwartą (Apache-2.0) rodzinę modeli decyzyjnych dla polskiego i angielskiego, z interfejsem tego samego rodzaju co Jev. TypeSafe nigdy nie opublikował, jak trenuje Jev, więc basal to autorski przepis Kinasa: Bielik-4.5B-v3.0 i Bielik-1.5B-v3.0 dostrojone na 63 663 przykładach decyzji (terminy z polskiego kalendarza świąt, kwoty i VAT, pytania o przepisy, czy dowody wystarczą). Każdy przykład został wygenerowany przez kod, oparty na tekście przepisu albo sprawdzony przez dwa niezależne modele weryfikujące, a mniej więcej jedna piąta jest po angielsku. Do tego dochodzi kalibracja, dzięki której 0,9 oznacza, że model ma rację mniej więcej dziewięć razy na dziesięć. Jedna decyzja projektowa ma znaczenie szczególnie dla polskiego: tokenizer Bielika v3 potrzebuje na polski tekst od 17 do 51% mniej tokenów niż alternatywy, które zmierzył, a to obniża koszt każdej decyzji.

Na własnym boisku wyniki są mocne. Na jego zbiorze 7081 polskich decyzji basal-4.5B ma rację w 88,4% przypadków, a Jev w 78,0%. Najbardziej podoba mi się liczba o pokryciu: jeśli pozwolisz modelowi decydować tylko wtedy, gdy jest na tyle pewny, żeby błędy trzymały się w okolicy 1%, basal-4.5B nadal sam rozstrzyga 58,6% przypadków, a Jev 18,1%. Reszta trafia do człowieka albo wolniejszego modelu. Na karcie H100 jedna decyzja trwa 12,5 milisekundy. Kinas uczciwie pisze też o ograniczeniach: ten zbiór testowy jest jego własny i nieopublikowany, a na publicznym, angielskim JevBench basal-4.5B ma 0,740 wobec 0,861 dla Jev. Właśnie dlatego warto go sprawdzić niezależnie, na cudzych danych.

Moje testy na mniej więcej 400 polskich decyzjach

Liczby Kinasa pochodzą z jego zbioru, a liczby Jev ze zbioru TypeSafe, więc zbudowałem własny, w trzech krokach. Najpierw pilotaż na trzydziestu krótkich wiadomościach do obsługi klienta. Potem 200 decyzji z obsługi klienta, razem z tymi trzydziestoma, sześciu rodzajów: czy to reklamacja, do którego działu trafia, czy powinien przejąć człowiek, czy zgłoszenie jest kompletne według podanej reguły, jak bardzo zirytowany jest klient i czy wiadomość to phishing. Na koniec 204 decyzje z dwunastu innych dziedzin: urzędy, przyjmowanie spraw w kancelarii, HR, rejestracja w przychodni, szkody ubezpieczeniowe, compliance w banku, logistyka, bezpieczeństwo IT, kontrola jakości w fabryce, uczelnia, wspólnota mieszkaniowa i moderacja ogłoszeń. Około 30% z nich to reguły z warunkami, terminami albo progami kwot.

Przypadki powstały na potrzeby testu, z pomocą AI. Poprawne odpowiedzi zamroziłem, zanim zobaczył je jakikolwiek model, a potem dwa modele różnych dostawców, Claude Opus 5.5 i GPT-6.1 Sol, rozwiązały każdy przypadek na ślepo jako niezależni weryfikatorzy. Liczą się tylko przypadki, w których moja etykieta i obaj weryfikatorzy są zgodni: 198 z 200 z obsługi klienta i wszystkie 204 pozostałe. Na tym zbiorze porównałem basal-4.5B i basal-1.5B na moim Macu (Apple M5 Max), sam model Jev 1.13 przez OpenRouter (bez routera), Mistral Medium 3.1 jako szybki model ogólny oraz dwa modele, które myślą przed odpowiedzią: Gemini 3.8 Flash w chmurze i Qwen3-14B na Macu.

Jev mnie zaskoczył. Miał rację w 98,0% przypadków z obsługi klienta i w 94,6% przypadków z dwunastu dziedzin, przy medianie 288 i 295 milisekund mierzonej z Polski razem z siecią, za 0,019 i 0,024 dolara za tysiąc decyzji, przy jednym wywołaniu na decyzję. basal-4.5B osiągnął 86,9% i 81,9% w 116 i 142 milisekundy na laptopie. Gemini z myśleniem nie pomylił się w żadnym przypadku na obu zbiorach, ale potrzebował na to 4,2 i 3,0 sekundy na decyzję oraz 0,91 i 0,98 dolara za tysiąc. Qwen3-14B z myśleniem osiągnął 94,4% i 96,1%, więc samo myślenie nie gwarantuje najlepszego wyniku. W pilotażu na trzydziestu przypadkach basal powtórzył te same trzy błędy co wcześniej, a Jev nie popełnił żadnego.

poprawne odpowiedzi na dwóch polskich zbiorachprzypadki, w których moja etykieta i dwie ślepe weryfikacje są zgodne · jedno wywołanie0%50%100%86,9%basal-4.5Blokalnie98,0%Jev 1.13chmura100%Geminimyślący81,9%basal-4.5Blokalnie94,6%Jev 1.13chmura100%Geminimyślącyobsługa klienta (198)12 innych dziedzin (204)poprawne odpowiedzi na dwóch polskich zbiorachprzypadki, w których moja etykieta i dwie ślepe weryfikacje są zgodne · jedno wywołanie
Odsetek poprawnych odpowiedzi na 198 decyzjach z obsługi klienta i 204 decyzjach z dwunastu innych dziedzin, liczony tylko tam, gdzie moja etykieta i dwie ślepe weryfikacje są zgodne. Jev 1.13: 98,0% i 94,6%. basal-4.5B: 86,9% i 81,9%. Gemini 3.8 Flash z myśleniem: 100% na obu.

U Jev prawie cała różnica siedzi w regułach. Na 60 przypadkach z regułami w zbiorze dwunastu dziedzin Gemini rozwiązał dobrze wszystkie 60, Qwen3 z myśleniem 56, Jev 50, a basal-4.5B 38. Na pozostałych 144 Jev pomylił się raz. Kiedy szybkie modele myliły się w pytaniach z regułą, zwykle odpowiadały „tak” tam, gdzie reguła dawała „nie”. Przeliczanie czegoś krok po kroku to według badania Mety słaba strona szybkich odpowiedzi, a sprawdzanie warunków reguły to właśnie taka praca.

Czy lukę na regułach da się zamknąć bez wolniejszego modelu? Dokumentacja basala zaleca rozbijanie złożonej reguły na proste pytania tak/nie i liczenie w kodzie, więc sprawdziłem dokładnie to na 99 sprawach z regułami: 60 ze zbioru dwunastu dziedzin i 39 kontrolach kompletności z obsługi klienta. Samo rozbicie pomogło niewiele: basal-4.5B poszedł z 71,7% na 76,8%, a Jev z 87,9% na 90,9%. Powód widać w pytaniach cząstkowych. Oba modele dobrze odczytują fakty z tekstu (97,2% i 99,0% poprawnych odpowiedzi na pytania o odczyt), a słabo porównują daty i kwoty (70,1% i 82,2%). Kiedy porównania dat i kwot robi kilka linijek Pythona, a modele tylko czytają tekst, basal-4.5B dochodzi do 96,0%, a Jev rozstrzyga wszystkie 99 spraw dobrze, nadal w około 290 milisekund, wobec 3,5 sekundy u Gemini, który też ma 99 na 99. Dwa uczciwe ograniczenia: daty i kwoty, które porównuje kod, przepisało z tekstu moje środowisko testowe, więc wynik zakłada ich poprawny odczyt, a w 15 z 60 spraw ze zbioru dwunastu dziedzin wszystkie warunki były arytmetyczne, więc decydował sam kod. Na pozostałych 45 efekt się utrzymuje: Jev poszedł z 38 na 45 poprawnych. Rozbicia reguł i wyniki są w repozytorium.

jak zamknąć lukę na regułach: rozbij regułę, licz w kodzie99 spraw z regułami · Gemini z myśleniem na całej regule: 100%0%50%100%71,7%cała regułabasal-4.5B76,8%rozbitabasal-4.5B96,0%rozbita + kodbasal-4.5B87,9%cała regułaJev 1.1390,9%rozbitaJev 1.13100%rozbita + kodJev 1.13basal-4.5B (lokalnie)Jev 1.13 (chmura)poprawne odpowiedzijak zamknąć lukę na regułach: rozbij regułę, licz w kodzie99 spraw z regułami · Gemini z myśleniem na całej regule: 100%
Poprawne odpowiedzi na 99 sprawach z regułami: cała reguła w jednym pytaniu, reguła rozbita na proste pytania tak/nie oraz reguła rozbita z porównaniami dat i kwot w kodzie. basal-4.5B: 71,7%, 76,8%, 96,0%. Jev 1.13: 87,9%, 90,9%, 100%. Gemini 3.8 Flash z myśleniem ma 100% na całej regule.

Dla menedżera najważniejsza jest pewność modelu: ile decyzji podejmuje sam i ile z nich jest błędnych. Ustawiasz próg, model decyduje sam tylko wtedy, gdy jego prawdopodobieństwo go osiąga, a wszystko poniżej trafia do człowieka. Przy ostrym progu samego basala (pewność co najmniej 0,913) Jev sam rozstrzygnął 80,3% przypadków z obsługi klienta i 77,0% z dwunastu dziedzin, bez ani jednego błędu, przy zadaniu każdego pytania dwa razy, z listą odpowiedzi w odwróconej kolejności, i uśrednieniu wyniku, tak jak robi to basal, żeby zniwelować skłonność do pierwszej opcji. basal-4.5B rozstrzygnął sam 67,2% i 57,8% przypadków, z czego błędne były dwa przypadki (1,5%) i 3,4%, ten drugi wynik wyraźnie powyżej 1%, które zakładał autor, a sam odsetek rozstrzygniętych przypadków zgadza się z 58,6% opublikowanymi przez Kinasa. Oba modele mylą się też w przeciwnych kierunkach. Jev jest ostrożny: każda odpowiedź, którą w zbiorze dwunastu dziedzin podał z pewnością 0,9 lub wyższą, była poprawna. basal jest pewniejszy siebie, niż powinien: w obsłudze klienta, kiedy deklarował pewność około 0,85, miał rację w 68% przypadków.

decyzje podjęte samodzielnie przy pewności co najmniej 0,913ostry próg samego basala · uśrednione obie kolejności opcji0%50%100%67,2%basal-4.5B1,5% błędów80,3%Jev 1.130 błędów57,8%basal-4.5B3,4% błędów77,0%Jev 1.130 błędówobsługa klienta12 innych dziedzindecyzje podjęte samodzielnie przy pewności co najmniej 0,913ostry próg samego basala · uśrednione obie kolejności opcji
Odsetek przypadków, które każdy model rozstrzyga sam przy pewności co najmniej 0,913, czyli ostrym progu samego basala, po uśrednieniu obu kolejności opcji. Obsługa klienta: Jev 80,3% bez błędów, basal-4.5B 67,2%, z czego 1,5% błędnych. Dwanaście innych dziedzin: Jev 77,0% bez błędów, basal-4.5B 57,8%, z czego 3,4% błędnych.

To nie znaczy, że basal jest niepotrzebny. Działa na własnym sprzęcie, więc żadna wiadomość klienta nie wychodzi z firmy, ma otwarte wagi na licencji Apache-2.0, a na H100 odpowiada w 12,5 milisekundy. Jego słabe punkty są konkretne: reguły z warunkami, środek skali (pięciu z sześciu „lekko zirytowanych” klientów uznał za „bardzo zirytowanych”) oraz pytanie klienta, czy nasz własny SMS jest prawdziwy, które uznał za phishing. Moje wyniki są też sprzeczne z wynikami Kinasa, u którego basal-4.5B prowadził z Jev 88,4% do 78,0%. Różne zbiory testowe nagradzają różne rzeczy i to jest najlepszy znany mi argument za tym, żeby przed wyborem przetestować model na własnym ruchu.

Ograniczenia, dla porządku. Oba zbiory zbudowałem na potrzeby testu, więc są czystsze niż prawdziwa skrzynka. Etykiety sprawdzały modele, a nie ludzie, a w zbiorze dwunastu dziedzin przypadki powstały z pomocą narzędzia opartego na Claude, podczas gdy jednym z kontrolerów też był Claude, dlatego następnym krokiem będzie przegląd przypadków z regułami przez ludzi. Każdy system uruchomiłem raz. basal i Qwen3 działały na laptopie, a liczby z chmury zawierają sieć z Polski. Wyniki Jev to stan endpointu alpha z końca września 2026. Przypadki, etykiety, skrypty i surowe wyniki są na GitHubie w agentGreg/system-1-ai, więc możesz je powtórzyć albo dodać własne.

Które decyzje oddać

Dwa pytania porządkują prawie każdą decyzję AI w procesie. Jak otwarta jest odpowiedź: stała lista opcji czy dowolny tekst? I ile kosztuje pomyłka? Zamknięte odpowiedzi z tanią pomyłką można oddać szybkiemu modelowi w całości. Zamknięte odpowiedzi z drogą pomyłką też pasują do szybkiego modelu, pod warunkiem że jego prawdopodobieństwo służy jako bramka, a wszystko poniżej progu trafia do człowieka. Praca otwarta, czyli odpowiedź do napisania albo wątek do streszczenia, należy do modelu generatywnego, z włączonym myśleniem tam, gdzie zadanie trzeba przemyśleć. A tam, gdzie odpowiedź jest otwarta i stawka wysoka, AI wspiera człowieka, który decyduje.

które decyzje oddać szybkiemu modelowimoja praktyczna reguła, z doświadczeniaszybki model + prógeskalować do człowieka?zwrot powyżej limitu?niepewny = oddaj dalejczłowiek, AI pomagaprzegląd umowydecyzja kredytowatriaż medycznyszybki modeldo którego działu?czy to reklamacja?czy klient jest zły?model myślącyszkic odpowiedzistreszczenie wątkuplan migracjistała lista opcjidowolna treśćjak otwarta jest odpowiedź?koszt pomyłkiniskiwysokiktóre decyzje oddać szybkiemu modelowimoja praktyczna reguła, z doświadczenia
Praktyczna reguła podziału pracy między modele, oparta na doświadczeniu. W poziomie: jak otwarta jest odpowiedź. W pionie: koszt pomyłki. Szybkie modele decyzyjne pasują do lewej kolumny: samodzielnie, gdy pomyłki są tanie, a z progiem pewności i przekazaniem do człowieka, gdy nie są.

Jeśli chcesz to sprawdzić we własnym procesie, zrobiłbym to w tej kolejności.

  1. Spisz zamknięte decyzje. Przejdź jeden prawdziwy proces od początku do końca i zapisz każde miejsce, w którym człowiek albo model wybiera ze znanego zestawu odpowiedzi. Większość zespołów znajduje ich więcej, niż się spodziewa.
  2. Opisz kilkaset prawdziwych przypadków. Weź je z własnych zgłoszeń i dokumentów, a etykiety niech nadadzą ludzie, którzy dziś tę pracę wykonują, bo twoja skrzynka ma swój własny język.
  3. Mierz pokrycie przy swoim celu błędu, obok trafności. Ustal, ile pomyłek jesteś w stanie zaakceptować, i sprawdź, jaką część przypadków model obsłuży sam na tym poziomie. Ta część to twoja oszczędność.
  4. Przekazuj dalej to, czego model nie jest pewien. Poniżej progu wysyłaj sprawę do człowieka albo wolniejszego modelu. Prawdopodobieństwo z szybkiego modelu jest przełącznikiem.
  5. Mierz pełny czas odpowiedzi, razem z siecią. Model, który odpowiada w 12 milisekund na GPU, po drugiej stronie Atlantyku jest wolniejszy.
  6. Sprawdzaj regularnie. Klienci zmieniają język szybciej niż twój zbiór testowy.

Czym zajmę się dalej

Dwiema rzeczami. Ludzkim przeglądem przypadków z regułami, bo tam wszystkie szybkie modele tracą punkty i tam błędna etykieta zaszkodziłaby najbardziej, razem z wersją testu, w której model sam odczytuje też daty i kwoty. I prawdziwym ruchem zamiast napisanych przypadków: decyzjami z działającego procesu obsługi klienta, porównanymi z modelem myślącym pod względem kosztu i zgodności z ludźmi, którzy dziś tę pracę wykonują. Wyniki pojawią się tutaj.

To analiza publicznie dostępnych prac plus moje własne eksperymenty. Liczby o Jev to deklaracje producenta, liczby o basalu pochodzą z jego raportu technicznego, a liczby Mety z pracy podlinkowanej niżej.

Dziękuję Remigiuszowi Kinasowi za otwarte opublikowanie basala, z wyjątkowo szczerym raportem technicznym. Powiązana lektura na tej stronie: Pokrętło pewności, które da się odczytać i przekręcić, moja publikacja o tym, na ile polskie modele wiedzą, czego nie wiedzą.