AI kłamie: jak sprawdzić czy ChatGPT mówi prawdę (i dlaczego "kłamie" to zły opis problemu)

Zapytałeś AI o coś konkretnego. Dostałeś konkretną, pewną, dobrze sformułowaną odpowiedź. Potem ją sprawdziłeś. Okazało się, że to nieprawda. I teraz siedzisz z pytaniem: skoro raz skłamało z taką pewnością siebie, to jak mam wiedzieć, kiedy mówi prawdę?

Złe wieści: słowo "kłamstwo" opisuje zły problem. ChatGPT nie kłamie, bo nie wie, że nie wie. To tak jakby pytać kogoś o drogę, a on z pełnym spokojem wysyła cię w przeciwnym kierunku, bo absolutnie nie wątpi w to, że tam jest centrum, bo był tam ostatnio. Osiem lat temu. I nie wróci do sprawdzenia.

Dobre wieści: jeśli rozumiesz mechanizm, wiesz też, kiedy ufać, kiedy nie i jak szybko weryfikować. Poniżej znajdziesz konkretny przepis. Bez teorii informatycznej, bez słowa "model językowy" więcej niż trzeba. A na pewno bez zdania "w dzisiejszym świecie AI".

ChatGPT nie kłamie. On po prostu nie zna pojęcia "nie wiem".

Halucynacje ChatGPT to nie błędy logiczne ani chwile słabości. To odpowiedzi, które brzmią jak fakty, bo tak wyglądają pewne siebie odpowiedzi w tekstach, które model czytał podczas trenowania. Model przewiduje kolejne słowo. Nie sprawdza, czy to słowo jest prawdą. Nikt mu tego nie wytłumaczył, bo nie ma jak.

Efekt jest osobliwy. Zapytaj ChatGPT o wyrok sądowy z 2019 roku, który nigdy nie istniał. Dostaniesz numer sprawy, nazwisko sędziego, datę, uzasadnienie i cytat z sentencji. Wszystko spójne, wszystko brzmiące jak dokument z kancelarii. Wszystko zmyślone od początku do końca, bo AI nie odróżnia "wiem" od "brzmi jakbym wiedział".

I tu jest różnica, która zmienia wszystko: kłamca wie, że kłamie. AI naprawdę nie wie. Nie możesz go przyłapać na kłamstwie, bo nie ma czego przyłapywać. Możesz tylko zweryfikować wynik, bo wynik jest niepewny niezależnie od tego, jak pewnie brzmi. Pytanie "skąd wiesz?" jest bezużyteczne wobec kogoś, kto szczerze nie rozumie, co to znaczy nie wiedzieć.

Dlatego strategia "zapytam jeszcze raz czy jest pewny" nie działa. Modele językowe mogą potwierdzać własne halucynacje z jeszcze większą pewnością siebie w kolejnej wiadomości. Zapytanie "jesteś pewien?" to jak pytanie kogoś, kto skręcił cię w złą stronę, czy na pewno dobrze skręcił. Wzruszy ramionami i powie: tak. Bardzo naturalnie.

Rok temu myślałem, że nowsze modele będą halucynować mniej. Halucynują inaczej. Precyzyjniej i z lepszym uzasadnieniem. Postęp.

Kiedy ChatGPT jest wiarygodny, a kiedy absolutnie nie

Markus Winkler / Pexels

Nie każda odpowiedź ChatGPT wymaga weryfikacji z Google Scholar. Jest spora kategoria zadań, gdzie halucynacja jest niemożliwa albo nieistotna, bo wynik jest sprawdzalny od razu. I jest kategoria, gdzie jeden błąd kosztuje.

Niskie ryzyko, możesz ufać bez osobnego sprawdzania: przeformułowanie tekstu, który już masz, generowanie opcji nazw lub sloganów, szkic maila, który i tak przeczytasz przed wysłaniem, tłumaczenie prostych tekstów, kod do prostego zadania (możesz go uruchomić i zobaczyć, co robi). W tych przypadkach albo wynik jest weryfikowalny przez działanie, albo nie ma żadnych faktów do sprawdzenia. AI może napisać kiepski mail, ale nie może w nim podać złej daty urodzin twojego klienta, skoro tej daty nie zna.

Wysokie ryzyko, weryfikuj zawsze: konkretne liczby i statystyki, daty i chronologia zdarzeń, cytaty przypisane konkretnym osobom, informacje prawne, medyczne i finansowe, linki i adresy URL, dane o konkretnych firmach, produktach lub osobach. Przy tych kategoriach AI generuje wyniki, które są spójne, szczegółowe i kompletnie zmyślone. Nie jako wyjątek. Jako wzorzec.

Pomocny test: czy powtórzyłbym tę informację klientowi na spotkaniu i podpisał się pod nią? Jeśli w głowie pojawia się "chyba tak" albo "w zasadzie", to znaczy "nie". AI nie odróżnia tych stanów. Ty musisz. I twój klient też będzie odróżniał, tylko trochę za późno.

Nowe modele z rozbudowanym rozumowaniem mają paradoksalnie wyższe wskaźniki halucynacji w niektórych testach. OpenAI o3 i o4-mini halucynują odpowiednio 33% i 48% odpowiedzi w testach rozpoznawania osób publicznych. Dłuższy łańcuch rozumowania nie oznacza mniejszej liczby błędów. Oznacza bardziej przekonująco uzasadnione błędy. Więcej kroków prowadzących pewnie do złego miejsca.

Jak sprawdzać odpowiedzi AI: konkretne techniki

Brett Jordan / Pexels

Poniżej 5 technik, które faktycznie zmniejszają ryzyko. Nie zniknie całkowicie. Zmniejszy się do poziomu, gdzie możesz pracować z AI bez wstrzymywania oddechu przy każdej liczbie.

1. Zadaj to samo pytanie inaczej. Fakty prawdziwe AI odtwarza konsekwentnie. Fakty zmyślone często się różnią między wersjami pytania. Jeśli pytasz "kiedy firma X została założona" i potem "jaka jest historia firmy X", a daty się nie zgadzają, żadnej nie traktuj jako pewnik. To nie jest pewna metoda, ale jest szybka i nie wymaga opuszczania okna przeglądarki.

2. Poproś o kontrargument do własnej odpowiedzi. Zamiast pytać "czy masz pewność?", zapytaj "dlaczego ktoś mógłby uważać, że się mylisz?". Model będzie szukał słabych stron własnej odpowiedzi. Sam wskaże kategorie, w których nie jest wiarygodny. Działa lepiej niż prośba o potwierdzenie, bo zmusza do innego trybu, a nie tylko do głośniejszego powtórzenia tego samego.

3. Żądaj źródeł, ale idź do nich osobiście. Zapytaj: "Podaj tytuł, autora i rok tej informacji." Wpisz tytuł w Google Scholar lub bezpośrednio na stronie wydawcy. Jeśli źródło nie istnieje lub nie zawiera podanej informacji, całą resztę traktuj ostrożnie. PubMed ma ponad 37 milionów rekordów biomedycznych i jest bezpłatny. Jeśli badania tam nie ma, bardzo możliwe, że nie istnieje. Choć możliwe też, że AI właśnie wymyśliło jego całkiem sensowny tytuł.

4. Używaj modelu z dostępem do internetu dla faktów z datą. ChatGPT z włączonym trybem wyszukiwania i Perplexity AI, które cytuje źródła przy każdej odpowiedzi, popełniają mniej błędów faktograficznych niż modele odpowiadające wyłącznie z danych treningowych. Nadal mogą się mylić, ale możesz zobaczyć, skąd przyszła informacja, i kliknąć. To ważna różnica: weryfikujesz źródło, nie domysł.

5. Rozdziel zadanie na dwa etapy. W pierwszym etapie prosisz AI, żeby zebrało, co wie na dany temat. W drugim prosisz, żeby określiło, w czym jest pewne, a w czym nie. Prompt: "Przejrzyj poprzednią odpowiedź i oznacz każde zdanie jako: pewny fakt, prawdopodobne, niepewne." Część odpowiedzi okaże się skromniejsza niż wyglądała na początku. Dobra wiadomość: ta skromna część jest zwykle rzetelna.

Prosty przepis: workflow, który minimalizuje ryzyko

Weryfikowanie każdej odpowiedzi z osobna to za dużo pracy. Weryfikowanie żadnej to za mało. Szukanie złotego środka brzmi jak opis terapii, nie procesu pracy, ale w tym przypadku działa.

Zanim zapytasz: określ, do jakiej kategorii należy pytanie. Czy wynik jest weryfikowalny przez działanie? Jeśli tak, weryfikuj działaniem. Czy wynik zawiera konkretne fakty z datą, liczbą lub nazwiskiem? Jeśli tak, te elementy idą na listę weryfikacji. Nie cały tekst. Tylko liczby, daty, linki i cytaty.

Gdy dostajesz odpowiedź z faktami: zanim skopiujesz to gdziekolwiek, zaznacz każdą konkretną liczbę, datę i cytat. To są punkty weryfikacji. Sprawdź je tak samo, jak sprawdzałbyś dane od podwykonawcy przed przekazaniem klientowi. Twój klient sprawdzi, jeśli ty nie sprawdzisz. I zapamięta.

Przy linkach: klikaj zawsze. AI generuje adresy URL, które mają właściwą domenę, właściwy temat, właściwe rozszerzenie. Wyglądają jak prawdziwe strony. Część z nich nie prowadzi do niczego. Kliknięcie zajmuje trzy sekundy. Pominięcie tego kroku zajmuje więcej, gdy ten link jest w raporcie, który już wysłałeś klientowi.

Czerwona flaga: bardzo konkretna liczba bez źródła. Jeśli AI podaje wynik badania z dokładnością do ułamka, statystykę z konkretnego roku albo wynik głosowania w konkretnej komisji, ta precyzja jest sygnałem ostrzegawczym, nie dowodem. Prawdziwe fakty mają źródła. Zmyślone wyglądają identycznie konkretnie. Precyzja to nie to samo co rzetelność.

AI jest znakomitym narzędziem do pracy z informacją, którą już masz lub możesz zweryfikować. Do generowania informacji, której nie masz skąd sprawdzić, jest narzędziem wysokiego ryzyka. Ta granica jest prosta. Trzymanie się jej sprawia, że AI przestaje być źródłem niepokoju.

Kiedy lepiej nie używać AI do faktów w ogóle

Są sytuacje, gdzie żadna technika weryfikacji nie wystarczy. Nie dlatego, że AI jest szczególnie złośliwe w te dni. Dlatego, że stawka jest za wysoka, a czas sprawdzania niweluje korzyść z szybkości.

Dokumenty z podpisem i odpowiedzialnością. Umowy, wnioski prawne, dokumentacja medyczna, raport z certyfikowanego audytu. Tu AI może być pomocny przy researchu wstępnym i formatowaniu. Nie przy faktach, które wchodzą do dokumentu finalnego. Prawnicy, którzy złożyli w sądzie pisma z nieistniejącymi wyrokami wymyślonymi przez ChatGPT, zapłacili grzywny. Nie zapłaciła ich firma OpenAI.

Tematy, gdzie ekspertyzę ma jedna osoba w firmie. Jeśli jesteś jedyną osobą, która może zweryfikować odpowiedź AI w danym temacie, to jesteś też jedyną osobą, która może ją po prostu napisać. AI skraca czas pisania, nie zwalnia z ekspertyzy. Możesz zlecić AI napisanie tekstu o prawie autorskim. Nie możesz zlecić AI sprawdzenia, czy ten tekst jest zgodny z prawem autorskim. To nie jest ta sama usługa.

Cytaty z osób żyjących. AI przypisuje mądrze brzmiące zdania mądrym ludziom. Nieważne czy to zdanie kiedykolwiek powiedzieli, napisali albo mogli pomyśleć. Wystarczy, że pasuje do kontekstu. Cytowanie żyjącego człowieka słowami, których nigdy nie wypowiedział, to problem wizerunkowy, który nie znika po przeprosinach.

Nie polecam AI jako jedynego weryfikatora przy żadnej z tych kategorii. To tak jakby wynająć detektywa i jedynym dowodem, który dostaniesz, będzie jego własne zeznanie. Brzmi jak film. Nie taki, gdzie wszystko dobrze się kończy.

Na koniec: szczegółowe metody weryfikacji odpowiedzi AI są bezużyteczne, jeśli nie wiesz, kiedy w ogóle ich używać. Mam nadzieję, że ta granica jest teraz wyraźniejsza.