Jak ograniczyć halucynacje AI? Metoda RAG i jej zastosowanie w firmie
Sztuczna inteligencja nie zna dokumentów Twojej firmy, więc zapytana o ich treść zmyśla, a pracownik nie odróżni takiej odpowiedzi od prawdziwej. Wyjaśniamy, jak metoda RAG umożliwia AI korzystanie z firmowej wiedzy i na co zwrócić uwagę, wybierając rozwiązanie dla siebie.
TL;DR
Narzędzie AI zapytane o wewnętrzne dokumenty firmy, których nigdy nie widziało, halucynuje, czyli podaje zmyśloną odpowiedź brzmiącą sensownie. Metoda RAG (ang. retrieval-augmented generation) pozwala mu najpierw wyszukać właściwe fragmenty w firmowej bazie wiedzy, a dopiero potem odpowiedzieć na ich podstawie. Liczba halucynacji się zmniejsza, ale błąd wciąż może się wkraść przez nieaktualny albo źle przygotowany dokument. O tym, czy odpowiedziom AI można zaufać, decyduje więc sposób wdrożenia metody w konkretnej firmie.
Model AI wie tylko to, czego go nauczono. To proste stwierdzenie, ale czy naprawdę je rozumiemy? Po narzędzia AI sięgamy niemal wszyscy i coraz więcej osób robi to odruchowo, przyzwyczajając się do wygody, jaką one dają. Trzeba jednak pamiętać, że są to w istocie tylko narzędzia i mają one ograniczenia. Szczególnie warto mieć to na uwadze w środowiskach biznesowych.
Model, który nie miał dostępu do dokumentów i danych firmy, nic o nich nie wie. Mimo to zapytany o nie może odpowiedzieć, bo taka jest zasada jego działania. Taka odpowiedź będzie zatem domysłem, próbą wykonania polecenia na miarę posiadanych możliwości. Może ona brzmieć prawdopodobnie, a nieświadomy użytkownik nie znajdzie podstaw, by w nią wątpić. Gdy jednak skorzystamy z takiej niezgodnej z prawdą odpowiedzi, by podjąć decyzję biznesową, narażamy się na szereg problemów, a w sektorach regulowanych również konsekwencje prawne i finansowe.
Pracownicy dziś nie chcą rezygnować z narzędzi AI, które ułatwiają i przyspieszają ich pracę. Korzystają zatem również z tych ogólnodostępnych, co z jednej strony przyczynia się do wzrostu zjawiska shadow AI, a z drugiej niesie ryzyko posługiwania się błędnymi informacjami. W dalszej części artykułu wyjaśnimy szerzej, dlaczego narzędzia AI podają zmyślone odpowiedzi. Wskażemy też, co należy zrobić, aby uzyskiwać odpowiedzi oparte na rzeczywistych zasobach firmy i upewnić się, że można im ufać.
Skąd się biorą zmyślone odpowiedzi
Duży model językowy (ang. large language model, LLM) uczy się, przetwarzając ogromne zbiory tekstów. Podczas treningu wychwytuje z nich pewne prawidłowości, np. jakie słowa i zdania zwykle sąsiadują ze sobą albo jak wygląda odpowiedź na pytanie danego typu. Kiedy zadajemy pytanie, odpowiedź powstaje na bazie takich wyłowionych z tekstów prawidłowości, bez posługiwania się konkretnymi źródłami.
Ta metoda sprawdza się, gdy pytamy o sprawy dobrze wcześniej opisane. Gdy jednak pytanie dotyczy czegoś, czego w tekstach treningowych nie było, model nadal udziela odpowiedzi, budując ją na wzór innych, ale bez związku z prawdą.
Taką odpowiedź nazywamy halucynacją. Brzmi ona sensownie, pasuje do pytania, ale nie ma pokrycia w faktach. Mogłoby się wydawać, że halucynacja to błąd działania modelu. Tymczasem model działa tak, jak został zaprojektowany, tylko w warunkach, w których nie ma z czego zbudować prawdziwej odpowiedzi.
Badacze z Uniwersytetu Stanforda sprawdzili, jak powszechne jest zjawisko halucynacji. Zadali modelom ogólnego przeznaczenia ponad 200 tysięcy pytań prawnych. Przy konkretnych pytaniach testowane wówczas modele, w tym GPT-3.5, Llama 2 i PaLM 2, zmyślały od 69% do 88% odpowiedzi. Wyniki dotyczą modeli dostępnych w 2023 roku i jednej dziedziny, więc nie należy ich przenosić na całą sztuczną inteligencję ani na dzisiejsze narzędzia. Ukazują one jednak pewną zależność, która pozostaje aktualna: im bardziej szczegółowe pytanie i im rzadziej opisywana dziedzina, tym częściej model posługuje się domysłami.
Z perspektywy narzędzia AI wewnętrzne zasoby firmy są właśnie taką dziedziną. Umowa czy procedura nie były użyte do trenowania żadnego modelu, więc pytanie o ich treść zawsze trafia w obszar, gdzie pozostaje wyłącznie zgadywanie.
Co to jest RAG i jak ta metoda wpływa na działanie modelu AI
Jeśli chcemy, żeby narzędzie AI odpowiadało na podstawie rzeczywistych danych firmy, musimy mu je udostępnić. RAG (ang. retrieval-augmented generation) to metoda budowania narzędzi AI, w której model przed udzieleniem odpowiedzi przeszukuje wskazany zbiór dokumentów.
Pytanie użytkownika trafia najpierw do wyszukiwarki. Ta przegląda firmową bazę wiedzy i wybiera z niej fragmenty odnoszące się do zadanego pytania. Model dostaje wtedy pytanie oraz te znalezione fragmenty i formułuje odpowiedź z ich wykorzystaniem.
Zamiast odtwarzać treść z tego, co zapamiętał podczas treningu, model ma więc streścić i zinterpretować podany materiał. To zadanie, z którym poradzi sobie dobrze. Odpowiedź można też zweryfikować, skoro wiadomo, z jakich źródeł czy fragmentów pochodzi.
Może się wydawać, że ten sam efekt da wklejenie dokumentów wprost do zapytania. Przy kilku stronach to zadziała, ale firmowa baza wiedzy liczy zwykle tysiące dokumentów. Model ma ograniczoną pojemność, a przetworzenie całego zbioru przy każdym zapytaniu byłoby wielokrotnie wolniejsze i droższe, bo dostawcy modeli rozliczają się za ilość przetworzonego tekstu. Wyszukiwarka rozwiązuje oba problemy naraz: przeszukuje cały zbiór w ułamku sekundy i przekazuje modelowi tylko te fragmenty, które odnoszą się do zapytania. Przy dobrze skonfigurowanym systemie można też ustawić uprawnienia, dzięki czemu pracownik marketingu nie zobaczy w wynikach dokumentów działu HR.
Metoda RAG działa w ten sam sposób bez względu na to, czy firma korzysta z modelu AI zbudowanego we własnej infrastrukturze, czy też zewnętrznego narzędzia. O tym, czym warto się kierować przy wyborze właściwego rozwiązania, mówimy w dalszej części artykułu.
RAG a halucynacje AI: czy wdrożenie rozwiązuje problem?
Wpływ metody RAG na halucynacje AI zależy od tego, co trafi do firmowej bazy wiedzy i jak zostanie to przygotowane. Zebranie wszystkich wartościowych informacji w jednym miejscu bywa trudniejsze, niż się to wydaje.
Wiedza organizacji często jest rozproszona, procedury znajdują się w intranecie, umowy w systemie obiegu dokumentów, a pewne ustalenia wyłącznie w skrzynkach pocztowych. Do części tych zasobów dostęp mają tylko wybrani pracownicy, a niektóre nie mogą opuścić firmowej sieci. Zbudowanie z nich jednej bazy wiedzy wymaga sporo pracy.
Warto też wiedzieć, że wyszukiwarka może nie odróżnić obowiązującej procedury od jej wersji sprzed trzech lat. Model opisze rzetelnie ten fragment, który dostanie, i wskaże dokument źródłowy. Odpowiedź będzie miała pokrycie w źródle, a mimo to wprowadzi pracownika w błąd.
Wyszukiwarka nie przegląda zresztą dokumentów w całości, ponieważ po wprowadzeniu do systemu są one dzielone na mniejsze fragmenty. Sam fragment (np. tabela bez opisu albo pojedynczy punkt regulaminu) może nie dawać dość kontekstu, by dopasować go do zapytania.
Kolejne badanie tego samego zespołu z Uniwersytetu Stanforda pokazuje, jak to wygląda w gotowych produktach. Zespół badawczy sprawdził komercyjne narzędzia zbudowane na metodzie RAG i reklamowane jako wolne od halucynacji. Narzędzia myliły się w 17% do 33% zapytań. Autorzy badania zwracają uwagę, że dostawcy nie przedstawili dowodów na swoje deklaracje ani nie określili, co rozumieją przez halucynację.
Metoda RAG ogranicza więc halucynacje AI, ale nie eliminuje ich całkowicie. Modele bez dostępu do źródeł halucynowały we wcześniejszym badaniu kilkukrotnie częściej, więc różnica jest wyraźna. Rzetelność odpowiedzi, nawet w narzędziu z RAG, zależy od tego, skąd pochodzi wiedza w bazie, czy jest ona aktualna i czy da się w niej odnaleźć właściwe fragmenty.
Dobre rozwiązania RAG klasy korporacyjnej (ang. enterprise RAG) odpowiadają na wszystkie te kwestie. Nadążają one za zmianami w dokumentach, bo system rozpoznaje, co zostało dodane albo poprawione, i przetwarza tylko te pliki. Każdy fragment jest osadzony w kontekście, dzięki czemu wyszukiwarka sięga po właściwe informacje.
Baza wektorowa czy graf wiedzy: dwa sposoby wyszukiwania
W metodzie RAG stosuje się różne mechanizmy wyszukiwania, które wzajemnie się uzupełniają.
Wyszukiwanie wektorowe polega na porównywaniu znaczeń. Każdy fragment dokumentu przechodzi przez model, który zapisuje jego sens w postaci ciągu liczb, a takie zapisy trafiają do bazy wektorowej. Pytanie użytkownika przechodzi przez ten sam model i również zostaje zapisane jako ciąg liczb. System porównuje je z zapisami fragmentów i wybiera te o najbliższym znaczeniu. Dlatego pracownik może pytać własnymi słowami, a narzędzie i tak trafi na właściwy punkt procedury, choćby sformułowano go zupełnie inaczej.
Baza wektorowa sprawdza się najlepiej, gdy odpowiedź na pytanie można znaleźć w jednym miejscu. Słabiej wypada przy pytaniach wymagających połączenia informacji z kilku dokumentów. Pracownik pyta, dlaczego wypowiedziano umowę z kontrahentem. Wyszukiwarka zwraca fragmenty tej umowy, bo to one są najbliższe pytaniu znaczeniowo. Powód wypowiedzenia leży jednak w protokole sprzed pół roku, który o tej umowie nie wspomina ani słowem. Wyszukiwarka porównuje pytanie z fragmentami, nie fragmenty ze sobą, więc do protokołu nie dotrze.
Powiązania między dokumentami trzeba więc zapisać osobno i na tym polega GraphRAG. Model AI czyta dokumenty, wyodrębnia z nich pojęcia oraz powiązania między nimi i zapisuje je w grafie wiedzy. Powiązanie może wyglądać tak: spółka X zawarła umowę Y. System prześledzi takie połączenia i dotrze do protokołu, w którym zapadła decyzja o wypowiedzeniu.
To, jakich pojęć i zależności system szuka w dokumentach, określa ontologia. Porządkuje ona wiedzę o danej dziedzinie, nazywając występujące w niej pojęcia i wskazując, jakie relacje mogą je łączyć. Dla logistyki, lotnictwa czy medycyny takie opracowania już istnieją, więc schemat grafu można ustalić z góry. Dla dokumentów, których nikt wcześniej nie uporządkował, system przeanalizuje je i zaproponuje schemat samodzielnie.
Poniższe zestawienie pokazuje, czym różni się wyszukiwanie wektorowe od GraphRAG.
| Wyszukiwanie wektorowe | Wyszukiwanie grafowe | |
| Organizacja bazy wiedzy | Fragmenty tekstu i ich znaczenie zapisane jako ciągi liczb | Fragmenty tekstu, ich znaczenie oraz pojęcia i powiązania między nimi |
| Mechanizm wyszukiwania | Odnajduje fragmenty najbliższe znaczeniowo pytaniu | Rozpoczyna od najbliższego znaczeniowo fragmentu i podąża za powiązaniami między pojęciami |
| Najlepsze zastosowanie | Konkretne informacje zawarte w pojedynczych dokumentach | Pytania wymagające łączenia wielu faktów, dokumentów lub analizy całego zbioru |
| Przykładowe pytanie | „Jaki jest termin rozpatrzenia reklamacji w regulaminie?” | „Które postanowienia umowy głównej zostały zmienione lub uchylone przez aneksy?” |
Tak jak wspomnieliśmy na wstępie, oba podejścia uzupełniają się nawzajem, dlatego rozwiązania klasy korporacyjnej zwykle je łączą.
Jak wybrać rozwiązanie RAG dla firm
Dobór rozwiązania zaczyna się od rozpoznania własnej sytuacji. Trzeba wiedzieć, jakie dokumenty mają trafić do bazy wiedzy, jakim regulacjom podlega firma i kto ma mieć dostęp do czego. Dopiero na tym tle widać, które rozwiązania w ogóle wchodzą w grę.
Miejsce, w którym działa model, zawęża wybór tych rozwiązań. Narzędzie sięga po umowy, procedury i dokumentację klientów, a przy modelu zewnętrznego dostawcy znalezione fragmenty opuszczają firmową sieć razem z pytaniem pracownika.
Model uruchomiony na własnej infrastrukturze organizacji (on-premises) albo w wydzielonym środowisku private cloud rozwiązuje ten problem, bo żadne zapytanie nie wychodzi na zewnątrz. Dla banków, podmiotów medycznych i administracji bywa to jedyna dopuszczalna droga.
Podstawą jest tu RODO. Kiedy zapytanie z danymi osobowymi trafia do modelu uruchomionego poza Europejskim Obszarem Gospodarczym, dochodzi do przekazania danych do państwa trzeciego, a takie przekazanie wymaga spełnienia osobnych warunków. Model działający w firmowej sieci ten problem usuwa w całości.
Część firm takich ograniczeń nie ma i chce korzystać z modeli zewnętrznych. Wtedy można poszukać rozwiązania, w którym dane wrażliwe chroni maskowanie. System rozpoznaje je w zapytaniu i podmienia na fikcyjne odpowiedniki, zanim treść trafi do modelu, a w odpowiedzi przywraca oryginalne wartości. Rozwiązania budowane dla polskiego rynku wykrywają przy tym numer PESEL czy NIP.
Ważne kryterium wyboru to również to, czy odpowiedzi AI można zweryfikować. Narzędzie z RAG powinno móc pokazać, z jakiego dokumentu i z której strony pochodzi informacja, i przytoczyć fragment, na którym oparło odpowiedź. Przy wyszukiwaniu w grafie wiedzy pokaże dodatkowo, jakimi powiązaniami do niej doszło. Pracownik otwiera wtedy wskazane miejsce i porównuje, zamiast wierzyć narzędziu na słowo. W firmie z sektora regulowanego ma to znaczenie także wtedy, gdy audytor pyta o podstawę konkretnej decyzji.
Czy uruchomienie narzędzia wymaga zaangażowania programistów? Niektóre platformy pozwalają pracownikom działów biznesowych złożyć rozwiązanie z gotowych elementów w interfejsie, bez pisania kodu i bez znajomości baz wektorowych czy grafów. Zespół, który zna własne dokumenty i wie, czego szuka, wdraża wtedy narzędzie sam, zamiast czekać w kolejce do IT, i sam poprawia je w miarę potrzeb.
Firmowa baza wiedzy z dobrym wyszukiwaniem otwiera wreszcie drogę do czegoś więcej niż odpowiadanie na pytania. Kiedy narzędzie AI potrafi sięgnąć po właściwy zapis umowy, może też przygotować na jego podstawie pismo albo uruchomić kolejny krok procesu. Metoda RAG staje się wtedy warstwą wiedzy, na której opierają się agenci AI.
FAQ – najczęściej zadawane pytania
Czym różni się RAG od fine-tuningu?
Fine-tuning (dostrajanie modelu) polega na douczeniu gotowego modelu na węższym zbiorze danych, przez co zmieniają się jego wewnętrzne parametry. Metoda RAG niczego w modelu nie zmienia, tylko podaje mu dokumenty do przeczytania przed odpowiedzią. Dla wiedzy firmowej rozstrzygające są dwie rzeczy. Dokumenty zmieniają się nieustannie, a przy RAG wystarczy wgrać nową wersję procedury, podczas gdy model dostrojony wie tyle, ile widział podczas ostatniego treningu. Do tego model dostrojony nie wskaże, skąd wziął informację, bo ta pochodzi z jego parametrów, a nie z konkretnego dokumentu. Fine-tuning przydaje się natomiast wtedy, gdy chodzi o styl wypowiedzi albo format odpowiedzi.
Czy RAG całkowicie eliminuje halucynacje?
Nie, ale ogranicza je znacząco. Model bez dostępu do źródeł zgaduje od zera i myli się znacznie częściej niż model z RAG, który dostaje właściwy fragment i buduje odpowiedź na jego podstawie. Pewne ryzyko pozostaje, bo model językowy LLM generuje tekst na bazie prawdopodobieństwa, więc nawet przy dobrze dobranym fragmencie zdarza się, że sformułuje wniosek nieco szerzej, niż źródło na to pozwala. Dlatego oprócz samej metody RAG liczy się też jakość bazy wiedzy i możliwość zweryfikowania odpowiedzi we wskazanym dokumencie.
Czy RAG działa na firmowych danych w trybie on-premises?
Tak. Cała firmowa baza wiedzy oraz model mogą działać na własnej infrastrukturze organizacji albo w wydzielonym środowisku private cloud, dzięki czemu zapytania i dokumenty nie opuszczają firmowej sieci. Dla banków, podmiotów medycznych i administracji bywa to warunek, bez którego wdrożenie w ogóle nie wchodzi w grę. Firmy bez takich ograniczeń mogą korzystać z modeli zewnętrznych, chroniąc dane wrażliwe poprzez maskowanie.
Ile trwa wdrożenie RAG w firmie?
Najwięcej czasu zabiera zwykle przygotowanie danych. Trzeba ustalić, które dokumenty trafią do bazy, kto ma mieć do nich dostęp i jak pilnować aktualności. Firma z uporządkowaną dokumentacją w jednym systemie uruchomi narzędzie szybciej niż taka, w której wiedza leży w kilkunastu miejscach i w kilku wersjach naraz. Na tempo wpływa też to, czy platforma wymaga pracy programistów, czy zespół biznesowy poradzi sobie sam.
Źródła
1. Stanford RegLab / HAI, Hallucinating Law: Legal Mistakes with Large Language Models are Pervasive, 2024 – https://law.stanford.edu/2024/01/11/hallucinating-law-legal-mistakes-with-large-language-models-are-pervasive/
2. Stanford RegLab, Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools, 2024 – https://reglab.stanford.edu/publications/hallucination-free-assessing-the-reliability-of-leading-ai-legal-research-tools/
3. Extentum AI, Co to jest shadow AI i dlaczego pracownicy wrzucają dane firmowe do ChatGPT, 2026 – https://extentum.ai/pl/shadow-ai-ryzyko-rodo-wycieki-danych/
4. Extentum AI, GenAI: Przewodnik wdrożeniowy, 2026 – https://extentum.ai/pl/genai-przewodnik-wdrozeniowy/
5. Extentum AI, Asystent AI w firmie – czym różni się od agenta AI i którego wybrać?, 2026 – https://extentum.ai/pl/asystent-ai-vs-agent-ai/
6. Urząd Ochrony Danych Osobowych, Przekazywanie danych osobowych do państw trzecich, 2025 – https://uodo.gov.pl/pl/535/2501
