Czy Bielik wie, czego nie wie?

Problem: pewny siebie akurat wtedy, gdy nie powinien

Modele językowe zmyślają najwięcej o encjach, które w treningu widziały ledwie kilka razy albo wcale. Ten błąd jest cichy. Model się nie zacina i nie dodaje zastrzeżeń. O piłkarzu, który nie istnieje, odpowiada tym samym płynnym tonem, co o takim, który istnieje. Na demo to zabawne. W finansach, energetyce czy w każdej branży regulowanej staje się ryzykiem, bo płynnej, błędnej odpowiedzi zaufa każdy, kto ją potem przeczyta. Postawiłem więc wąskie, sprawdzalne pytanie: czy model potrafi tanio rozpoznać, że wykracza poza swoją wiedzę, i czy to mówi cokolwiek o tym, czy jego odpowiedzi są poprawne?

Wynik 1: model odkrywa karty, zanim się odezwie

Zanim model wygeneruje pierwszy token, zdążył już zamienić prompt we wzorzec wewnętrznych aktywacji. Zmierzyłem, jak bardzo ten wzorzec jest rozproszony, dwiema prostymi statystykami (inverse participation ratio i entropią spektralną; obie pokazują, czy aktywacja skupia się w kilku kierunkach, czy rozkłada na wiele). Encje, które model rozpoznaje, dają wyraźnie inny wzorzec niż encje, których nigdy nie widział.

Rozdzielenie jest bliskie ideału. We wszystkich czterech dziedzinach (sportowcy, miasta, pisarze, muzycy) i dla wszystkich czterech rozmiarów modelu te nienadzorowane miary oddzielają znane encje od zmyślonych z AUROC od 0,95 do 1,00, gdzie 1,0 to idealny podział, a 0,5 to rzut monetą. Mały wytrenowany klasyfikator osiąga od 0,99 do 1,00.

To nie przypadek wynikający z ustawień eksperymentu. Wynik się utrzymuje, gdy warstwę odczytu wybieram na odłożonych danych, działa także na prawdziwych, ale mało znanych nazwach, nie tylko na zmyślonych, i przenosi się z jednej dziedziny na drugą. Bez dodatkowych próbek, bez fine-tuningu. Jeden forward pass, jedna liczba.

Wynik 2: dwie umiejętności, dwie krzywe

Tego wyniku się nie spodziewałem. Sygnał rozpoznania osiąga sufit już w najmniejszym modelu 1.5B. Większy model nie rozpoznaje lepiej, bo prawie nie ma już czego poprawiać.

Trafność faktów zachowuje się zupełnie inaczej. Zapytałem każdy model o 42 znanych sportowców i surowo oceniłem odpowiedzi. Model 1.5B nie odpowiedział w pełni poprawnie ani razu. 4.5B trafił 2 razy, 7B 10 razy, a 11B 19 razy. Rozpoznawanie pozostaje płaskie i wysokie, a trafność stromo rośnie z rozmiarem.

To więc dwie różne umiejętności. Mały model może rozpoznać Roberta Lewandowskiego jako kogoś, kogo już widział, i mimo to pomylić fakty z jego kariery. Znajomość to nie to samo co wiedza.

Niewygodna część: wie, a milczy

Skoro sygnał rozpoznania siedzi w modelu, można by liczyć, że model z niego korzysta: asekuruje się albo odmawia odpowiedzi, gdy sygnał mówi, że encja jest mu obca. Tak się nie dzieje. Na wszystkich 2 520 próbkowanych odpowiedziach o sportowcach, które przejrzałem (pięć próbek na każde pytanie o sportowca), modele odmówiły dwa razy i raz się zasekurowały, a obie odmowy pochodziły od największego modelu 11B. Cała reszta to pewne odpowiedzi, poprawne lub nie.

Ta świadomość jest prawdziwa, ale zostaje zamknięta w reprezentacjach i nigdy nie dociera do zachowania. W tej luce leży szansa. Sygnał, który model i tak liczy za darmo, mógłby uruchamiać odmowę albo przekazanie sprawy człowiekowi, a dziś nie uruchamia niczego.

Jedno ograniczenie trzeba powiedzieć wprost. Sygnał dobrze wyłapuje nieznane encje, ale nie wyłapuje każdego błędu. Odróżnienie poprawnej odpowiedzi od halucynacji o znanej encji jest dużo trudniejsze i tam tani sygnał nie wypada lepiej niż prosty baseline. To wczesne ostrzeżenie typu „nigdy tego nie widziałem”, a nie uniwersalny wykrywacz kłamstw.

Dlaczego to ważne, jeśli wdrażasz modele

Poza samym artykułem ten wynik jest użyteczny przede wszystkim ze względu na cenę. Odczyt rozproszenia aktywacji praktycznie nic nie dokłada do inferencji, bo korzysta z forward passu, który i tak wykonujesz. Typowa alternatywa, czyli kilkukrotne próbkowanie modelu i mierzenie, jak bardzo odpowiedzi się od siebie różnią, osiągnęła w moich testach tylko AUROC od 0,71 do 0,83 i kosztowała pięć razy więcej.

Dla każdego, kto uruchamia otwarty model na produkcji, to realne zabezpieczenie: odczyt pewności, który dostajesz za darmo. Pozwala przekierować trudne pytanie do większego modelu albo do człowieka i czysto odmówić odpowiedzi zamiast zmyślać. Ma to jeszcze większe znaczenie we wdrożeniach suwerennych i on-premise, gdzie działają mniejsze otwarte modele, takie jak Bielik, i nie da się załatać luk frontierowym API. Kiedy audytuję system AI dla klienta, patrzę właśnie na tę warstwę. Demo może wyglądać bezbłędnie, a model może przy tym nie mieć żadnego wewnętrznego wyczucia, kiedy się myli. Sygnał opisany w tym artykule to jeden ze sposobów, żeby to wyczucie zmierzyć i podłączyć do tego, co system robi dalej.

Jak to testowałem

Cztery modele Bielik, od 1.5B do 11B parametrów. Cztery dziedziny: sportowcy, miasta, pisarze i muzycy. W każdej dziedzinie użyłem 42 znanych encji, 42 prawdziwych, ale mało znanych, i 42 zmyślonych, każdą w formie pytania z jednego zdania, co daje 504 prompty na model. Miary rozproszenia liczę na aktywacjach w warstwach feed-forward modelu. Żeby sprawdzić, czy sygnał jest prawdziwy, czy jest artefaktem, porównałem go z baseline'ami na przetasowanych etykietach, wybrałem warstwę odczytu na odłożonych danych i przeprowadziłem kontrolę z dopasowanym szablonem, żeby samo sformułowanie pytania nie mogło wyjaśnić wyniku. Ocena odpowiedzi i audyt odmów obejmują dziedzinę sportowców, a sygnał rozproszenia mierzę we wszystkich czterech. Pełna metoda i wszystkie liczby są w artykule.

Czym zajmuję się dalej

Ten artykuł odpowiada na jedno wąskie pytanie: czy model potrafi rozpoznać, że wykracza poza swoją wiedzę? Praca nad nim otworzyła trzy większe, którymi teraz się zajmuję.

Pierwsze: na ile ogólny jest ten sygnał. Te wyniki dotyczą jednej rodziny polskich modeli. Chcę sprawdzić, czy ten sam sygnał znajomości pojawia się w innych rodzinach modeli i w innych językach oraz czy odzwierciedla to, co model faktycznie widział w pretreningu, a nie jego rozmiar.

Drugie: czy da się sprawić, żeby model z niego korzystał. Dziś ta świadomość siedzi w modelu i nigdy nie dociera do jego zachowania. Otwarte pytanie brzmi, czy model, który poza tym nigdy nie mówi „nie wiem”, można nauczyć tej odpowiedzi wyłącznie na podstawie jego własnego wewnętrznego sygnału.

Trzecie: gdzie ta wiedza naprawdę mieszka. Najnowsze prace z interpretowalności opisują wewnętrzną „globalną przestrzeń roboczą” (global workspace), czyli tę część modelu, której zawartość model potrafi ująć w słowa. Chcę sprawdzić, czy znajomość encji siedzi w tej przestrzeni, dlaczego jedne modele potrafią ją wyrazić, a inne nie, i czy model trenowany głównie na polskim ma własną taką przestrzeń.

Nad tym teraz pracuję. Ciąg dalszy nastąpi.

@article{brzezinka2026bielik,
  title  = {Does Bielik Know What It Doesn't Know? Activation Dispersion
            Separates Entity Familiarity from Factual Reliability Across Model Scale},
  author = {Brzezinka, Grzegorz},
  journal= {arXiv preprint arXiv:2607.07670},
  year   = {2026}
}