Pokrętło pewności, które da się odczytać i przekręcić

Od przełącznika do pokrętła

W pierwszej publikacji pytanie było zero-jedynkowe: czy model rozpoznaje daną encję, czy nie. Rozpoznaje, a da się to tanio odczytać z jego wewnętrznych aktywacji, zanim cokolwiek napisze. Bardziej użyteczne pytanie zostało otwarte. Kiedy model coś rozpoznaje, czy ma też wyczucie, jak dobrze to zna, czy rozpoznanie działa na zasadzie wszystko albo nic? Żeby to sprawdzić, zbudowałem większy i trudniejszy test: 1440 polskich encji z czterech dziedzin, uszeregowanych według rzeczywistej popularności, przepuszczonych przez dwanaście modeli z czterech rodzin, w tym modele dostosowane do polskiego i modele ogólnego przeznaczenia podobnej lub większej wielkości.

Wynik 1: pokrętło zamiast przełącznika

Sygnał znajomości ma stopnie. Podzieliłem 1200 prawdziwych polskich encji na dziesięć przedziałów według tego, jak często oglądana jest ich strona w polskiej Wikipedii, od mało znanego długiego ogona po nazwiska, które zna każdy, a jako dno skali dodałem zmyślone nazwiska. W Bielik-11B wewnętrzny wskaźnik znajomości rośnie równo w całym tym zakresie i ściśle podąża za rzeczywistą popularnością (korelacja 0,57). Model robi więcej, niż oddziela prawdziwe od zmyślonego: ma płynne wyczucie, jak znane jest coś, i to wyczucie jest dostępne w jednym forward passie, zanim odpowie choćby słowem.

W każdym systemie zbudowanym na modelu zamienia to test tak/nie w poziom pewności. Nazwisko znane każdemu i słabo udokumentowaną lokalną postać można traktować inaczej, a pytania o niskiej pewności i wysokiej stawce kierować do wyszukiwania w dokumentach albo do człowieka, zamiast pozwalać modelowi zgadywać.

Wynik 2: pokrętło daje trening na polszczyźnie, a nie rozmiar

Stopniowane wyczucie nie rozkłada się równo. Jest silne w dwóch rodzinach dostosowanych do polskiego, Bielik i PLLuM, i niemal płaskie w modelach ogólnego przeznaczenia Gemma-4 i Qwen3, choć te dorównują im wielkością albo je przewyższają. Qwen3 prawie nie stopniuje znajomości, niezależnie od tego, czy ma 1,7 miliarda parametrów, czy 14 miliardów, więc przyczyną nie jest sam rozmiar.

Najmocniejszy dowód to porównanie przed i po. Weźmy model bazowy i kontynuujmy jego trening na polskich tekstach: pokrętło robi się dokładniejsze. Llama-3.1-8B stopniuje na poziomie 0,19; po adaptacji do polskiego zbudowany na niej PLLuM-8B osiąga 0,36, a oparty na Mistralu PLLuM-12B pokazuje taki sam skok względem swojego modelu bazowego. To trening językowy daje dokładniejsze wyczucie, przy tej samej architekturze i tej samej wielkości.

Ma to znaczenie dla każdego, kto wdraża AI w języku innym niż angielski. Model dostosowany do danego języka ma pewniejsze wewnętrzne wyczucie tego, co wie, a czego nie wie o lokalnych encjach, czyli właśnie tam, gdzie model ogólny jest najsłabszy. Dla polskiego to konkretny argument za pracą nad Bielikiem i PLLuM-em.

Wynik 3: odczyt dotyczy encji, a nie języka

Gdyby ten sygnał był osobliwością polskiej gramatyki albo tokenizacji, powinien się rozpaść po zmianie języka pytania. Nie rozpada się. Zostawiłem każdą nazwę encji bez zmian i podmieniłem tylko otaczające ją pytanie, z „Kim jest…?” na „Who is…?”, a potem wytrenowałem probe na jednym języku i przetestowałem na drugim. Zachował od 96 do 101 procent swojej zdolności odróżniania prawdziwych nazwisk od zmyślonych. Wyczucie znajomości przyczepia się do samej encji, nie do słów wokół niej.

W praktyce jeden guardrail obsługuje wtedy użytkowników, którzy mieszają języki, a to częste w polskich firmach, gdzie ludzie w trakcie rozmowy przechodzą z polskiego na angielski i z powrotem.

Wynik 4: odmowa to pokrętło, którym można kręcić

Odczytanie sygnału to jedno. Większym zaskoczeniem jest to, że można na niego bezpośrednio wpływać. Gemma-4-12B była jedynym modelem w badaniu, który kiedykolwiek sam z siebie odmawia odpowiedzi. W jej wnętrzu znalazłem jeden kierunek, w jednej warstwie, który kontroluje to zachowanie. Po dodaniu go model staje się ostrożniejszy, po odjęciu chętniej odpowiada.

Efekt jest czysty i działa w obie strony. Przesunięty w stronę „nieznane” model zaczyna odmawiać nawet przy dobrze znanych osobach: odsetek odmów dla sławnych encji rośnie z 24 do 100 procent. Przesunięty w stronę „znane” przestaje odmawiać tam, gdzie powinien, i pewnym tonem opowiada o ludziach, którzy nie istnieją: odsetek odmów dla zmyślonych encji spada z 73 procent do zera. Losowy kierunek o tej samej sile nigdy tego nie robi, po prostu psuje odpowiedź. Właśnie ten kierunek jest więc uchwytem, który steruje powstrzymywaniem się od odpowiedzi.

W wersji praktycznej: żeby zmienić, jak ostrożny jest model, nie trzeba go ponownie trenować. Jeśli model ma już jakieś zachowanie odmowy, można je dostroić małą, tanią interwencją i ustawić równowagę między odpowiadaniem na zbyt wiele a odmawianiem zbyt często tam, gdzie wymaga tego dany przypadek użycia.

Robert Lewandowski

światowa sława · istnieje

„Polski piłkarz, jeden z najlepszych napastników swojego pokolenia.”

„Nie mogę na to odpowiedzieć.”

odmawia 24% → 100%

Katarzyna Łęcka-Widawska

zmyślona · nie istnieje

„Polska powieściopisarka, ur. 1931 w Krakowie.”

„Nie mogę na to odpowiedzieć.”

odmawia 73% → 0%

mniej znane

bardziej znane

jeden kierunek · jedna warstwa · Gemma-4-12B

Luka, która ma znaczenie

Po złożeniu tych elementów widać lukę. Modele z najlepszym wewnętrznym wyczuciem tego, co wiedzą, czyli te dostosowane do polskiego, nigdy nie mówią „nie wiem”. Bielik i PLLuM, każdy w 1600 odpowiedziach, nie odmówiły ani razu. Model, który odmawia, Gemma-4, ma słabsze wyczucie i odmawia według tematu, a nie według wiedzy: ostrożnie podchodzi do biografii prawdziwych osób (odmawia w 52 do 64 procent przypadków), a przy miastach prawie nigdy (3 procent). Jego ostrożność to ogólna reguła dla całego tematu. Nie wynika z oceny, czy zna konkretną odpowiedź.

Mieć sygnał wiedzy i z niego korzystać to dwie osobne sprawy. Sygnał tanio się odczytuje i, jak pokazuje pokrętło, da się go podpiąć pod zachowanie modelu. W tej luce jest miejsce na praktyczną warstwę bezpieczeństwa.

Dlaczego to ważne przy wdrażaniu modeli

Wspólny mianownik to sygnał, który dostaje się prawie za darmo. Odczytuje się go, zanim model cokolwiek wygeneruje, w jednym forward passie, więc kosztuje mniej więcej jeden dodatkowy odczyt zamiast kilku pełnych generacji, których potrzebują metody oparte na próbkowaniu. W moich testach skalibrowany probe znajomości dobrze wypadł na tle innych metod działających przed generacją, choć metody analizujące gotową odpowiedź nadal średnio lepiej przewidują jawne błędy. Uczciwie trzeba więc powiedzieć, że to jedna użyteczna warstwa, a nie kompletne rozwiązanie.

Najwięcej daje przy routingu i ostrożności. Polski asystent w finansach, prawie albo obsłudze klienta może przed odpowiedzią odczytać wskaźnik znajomości dla nazwiska, a gdy jest niski, dociągnąć dokumenty źródłowe albo przekazać sprawę człowiekowi. Wskaźnik ma stopnie, więc tę decyzję można podejmować według ryzyka zamiast jednego sztywnego progu. Przetrwa zmianę języka, więc jeden mechanizm obsłuży użytkowników mieszających języki. A kierunek, który za nim stoi, da się sterować, więc modelowi, który już odmawia, można dostroić ostrożność do zastosowania, zamiast zostawiać ustawienie domyślne dostawcy. Na benchmarku długiego ogona z tego badania bazowe odsetki błędów były wysokie, powyżej 80 procent dla większości modeli, więc wiedza o tym, kiedy nie odpowiadać, jest bardzo cenna.

Jak to sprawdziłem

Zbiór danych to 1440 polskich encji z czterech dziedzin: sportowcy, miasta, pisarze i muzycy. 1200 jest prawdziwych, pobranych z Wikidanych i podzielonych na dziesięć przedziałów popularności według liczby wyświetleń w polskiej Wikipedii, a 240 to zmyślone polskie nazwiska, odsiane tak, żeby nie zdradzała ich długość ani pisownia. Przepuściłem przez test wszystkie dwanaście modeli z rodzin Bielik, PLLuM, Gemma-4 i Qwen3, mierząc na ostatnim tokenie jednozdaniowego pytania, w jednym forward passie, przed jakąkolwiek odpowiedzią. Znajomość odczytuję małym wytrenowanym probe na stanie ukrytym modelu albo nienadzorowaną miarą rozproszenia aktywacji, a każda liczba powstała przy stałych seedach i wyborze na odłożonym zbiorze (held-out). Wszystkie szczegóły są w publikacji.

Czym zajmuję się dalej

Jedno pytanie pozostaje całkiem otwarte. Dlaczego model z silnym wewnętrznym wyczuciem znajomości nigdy z niego nie korzysta, a inny, ze słabszym, korzysta? Coś musi łączyć sygnał z zachowaniem modelu albo tego połączenia brakuje. Nad znalezieniem tego mechanizmu pracuję teraz, razem z pytaniem, czy ostrożność, którą da się sterować z zewnątrz, można też wytrenować tak, żeby została na stałe. Napiszę o tym, gdy będzie gotowe.

@article{brzezinka2026graded,
  title  = {Graded Entity-Familiarity Readouts in Language Models: Polish
            Adaptation, Cross-Language Robustness, and Refusal Steering},
  author = {Brzezinka, Grzegorz},
  journal= {arXiv preprint arXiv:2607.13568},
  year   = {2026}
}