Dostawca AI mówi Ci, że douczony model to prawdziwa inteligencja, a zwykły chatbot z bazą wiedzy to tylko wypożyczony mózg. Nie mówi, że producent tego modelu wygasza tę usługę dla nowych klientów

Dostawca AI, z błyskiem w oku, tłumaczy Ci, że zwykły chatbot podłączony do bazy wiedzy to tylko wypożyczony mózg. Douczony, własny model, trenowany na danych Twojej firmy, to dopiero prawdziwa inteligencja, skrojona na miarę. Nie wspomina, że OpenAI, które tę usługę świadczy, samo nazywa ją wygasającą dla nowych klientów.

Fine-tuning vs RAG to w praktyce pytanie, czy uczyć model na pamięć, czy dać mu ściągawkę, do której zerka przy każdej odpowiedzi. Fine-tuning dotrenowuje same wagi modelu na Twoich danych. RAG, czyli retrieval-augmented generation, zostawia model bez zmian i podpowiada mu właściwy fragment wiedzy w momencie pytania. Jest jeszcze trzecia, lżejsza opcja, zwykły prompt systemowy, o której pisałem przy uczeniu AI stylu pisania, tylko że ona uczy tonu, nie faktów.

Rachunek, który dziś rozpiszę, pokazuje, że fine-tuning wygrywa rzadziej, niż sugerują dostawcy, którzy akurat ten dotrenowany model chcą Ci sprzedać. Zacznijmy od księgowego, bo on codziennie robi dokładnie ten wybór, tylko nikt nie nazywa tego fine-tuningiem.

Księgowy, który nauczył się przepisów na pamięć

Księgowa A zapisała się na półroczny, kosztowny kurs, żeby nauczyć się całej ustawy o VAT na pamięć. Przez pierwszy miesiąc robi wrażenie na każdym kliencie, bo cytuje artykuły bez zerkania do niczego. To dokładnie to, co reklamują dostawcy fine-tuningu: model, który po prostu wie, bez szukania.

Księgowy B kupił tegoroczny komentarz podatkowy, trzyma go na biurku i przy każdym pytaniu klienta otwiera właściwą stronę. Zajmuje mu to 5 sekund dłużej. Nikt nigdy nie zwolnił księgowego za to, że zerknął do książki.

Problem zaczyna się, kiedy Sejm zmienia stawkę VAT, co w Polsce zdarza się z regularnością pory roku. Księgowa A musi zapisać się na kolejny kurs, znowu zapłacić, znowu czekać pół roku, a do tego czasu z pełnym przekonaniem cytuje stawkę, która już nie obowiązuje. Księgowy B kupuje nowe wydanie komentarza za jedną dziesiątą ceny kursu i ma rację już następnego dnia.

To jest cały spór fine-tuning kontra RAG w jednym zdaniu. Douczony model, którego nikt nie odświeżył, z tą samą pewnością poda cenę, politykę zwrotów albo numer telefonu, które już dawno się zmieniły, i powie to tonem eksperta, który nigdy się nie myli.

Ile naprawdę kosztuje douczenie modelu

panumas nikhomkhai / Pexels

Oficjalny cennik OpenAI pokazuje coś, czego żaden dostawca nie wkłada na pierwszy slajd prezentacji: douczony model kosztuje więcej przy każdym zapytaniu, na zawsze, nie tylko przy treningu. Sam trening GPT-4o mini to 3 dolary za milion tokenów. To koszt, który płacisz, zanim model odpowie na pierwsze pytanie klienta.

Potem przychodzi rachunek, który boli bardziej. Zwykły GPT-4o mini liczy 0,15 dolara za milion tokenów wejścia i 0,60 za wyjście. Jego douczona wersja liczy 0,30 i 1,20, czyli dwa razy więcej, przy każdym zapytaniu, bez wyjątku. Dla GPT-4.1 różnica jest podobna, półtora raza drożej niż model bazowy. Płacisz premium za to, że model raz się czegoś nauczył, i płacisz je w nieskończoność, nawet gdy to, czego się nauczył, jest już nieaktualne.

Do tego dochodzi koszt, którego nie ma w żadnym cenniku: przygotowanie danych treningowych. Ktoś musi je zebrać, oczyścić, sprawdzić, poprawić literówki, usunąć dane osobowe klientów. W większości małych firm ten ktoś to Ty, o 23:00, z kawą, która już wystygła.

Sama OpenAI, firma, która ten produkt sprzedaje, wygasza platformę fine-tuningu dla nowych klientów. Nie dlatego, że przestała działać. Dlatego, że dla większości zastosowań przestała się opłacać bardziej niż alternatywy, które ta sama firma też sprzedaje.

Dlaczego RAG wygrywa częściej, niż chcą Ci powiedzieć

Polina Zimmerman / Pexels

Według raportu Menlo Ventures, opartego na ankiecie 600 amerykańskich firm, pod koniec 2024 roku 51% wdrożeń AI w produkcji korzystało z RAG, wobec tylko 9%, które postawiły głównie na fine-tuning. Rok wcześniej RAG miał 31%. Wynik bardziej jednostronny niż większość głosowań w zarządzie spółki.

Mechanizm jest ten sam co u księgowego z komentarzem. Kiedy zmienia się cena produktu, godziny otwarcia albo polityka zwrotów, czyli rzeczy, które w małej firmie zmieniają się praktycznie co miesiąc, aktualizacja bazy wiedzy w RAG to wgranie nowego dokumentu. Aktualizacja douczonego modelu to powtórzenie całego treningu, znowu, od zera. Pisałem o samym budowaniu takiej bazy wiedzy w artykule o własnej bazie wiedzy AI dla firmy.

IBM opisuje to wprost: RAG daje modelowi dostęp do aktualnych, prywatnych danych, które inaczej byłyby dla niego niewidoczne, a fine-tuning zmienia samo zachowanie modelu, nie jego wiedzę. Mała firma rzadko potrzebuje, żeby model zmienił charakter. Prawie zawsze potrzebuje, żeby znał aktualny cennik.

Kiedy fine-tuning faktycznie się opłaca

Tara Winstead / Pexels

Rachunek wychodzi na korzyść fine-tuningu tam, gdzie zadanie jest wąskie, powtarzalne i stabilne: klasyfikacja zgłoszeń do konkretnych kategorii, wyciąganie tych samych pól z faktury, odpowiedzi w jednym, sztywnym formacie. Tu fine-tuning nie uczy faktów, uczy zachowania, a zachowanie nie zmienia się tak często jak cennik.

Drugi przypadek to duży, stały wolumen zapytań, rzędu dziesiątek tysięcy miesięcznie, gdzie wyższy koszt tokenu rozkłada się na tyle zapytań, że i tak wygrywa z opłatami za wyszukiwanie w RAG. Trzeci przypadek to praca offline albo na słabym łączu, gdzie samodzielny, lokalny model bez ciągłego odpytywania bazy wiedzy ma sens z innych powodów niż tylko pieniądze, o czym szerzej pisałem w artykule o własnym, lokalnym modelu AI.

Żadna z tych sytuacji nie opisuje typowej małej firmy w Polsce. Typowa mała firma ma kilkaset zapytań miesięcznie, nie dziesiątki tysięcy, a swój cennik zmienia z entuzjazmem, jakiego żaden douczony model nie miałby szansy nadrobić.

Kiedy nie warto nawet pytać o cenę

Jeśli Twoja firma ma jednego chatbota na stronie, kilkadziesiąt pytań dziennie i ofertę, która zmienia się co kwartał, fine-tuning to kupowanie kombinezonu kosmicznego do wyjścia po bułki. RAG albo nawet sam dobrze napisany prompt systemowy załatwi to za ułamek ceny.

Fine-tuning zaczyna mieć sens tam, gdzie wolumen jest naprawdę duży i stabilny, albo gdzie liczy się konkretny, wąski format odpowiedzi, nie ogólna wiedza o firmie. Dla większości małych firm to nie jest ich sytuacja i prawdopodobnie nigdy nie będzie.

Moja ocena: fine-tuning to dobry produkt, sprzedawany złej grupie klientów. Świetnie sprawdza się w wąskich, dużych, stabilnych zadaniach. Większość małych firm nie ma żadnego z tych trzech warunków, ma tylko budżet i dostawcę, który bardzo chce go wydać.