Halucynacje AI: czym są i dlaczego się zdarzają

Czym są halucynacje AI?

Halucynacje AI pojawiają się, gdy narzędzia AI generują nieprawidłowe informacje, a jednocześnie sprawiają wrażenie pewnych siebie. Błędy te mogą obejmować drobne nieścisłości, takie jak błędne podanie daty historycznej, lub informacje poważnie wprowadzające w błąd, takie jak zalecanie przestarzałych lub szkodliwych środków zdrowotnych. Halucynacje związane ze sztuczną inteligencją mogą zdarzać się w systemach opartych na dużych modelach językowych (LLM) i innych technologiach sztucznej inteligencji, w tym w systemach generowania obrazów.

Na przykład narzędzie AI może błędnie stwierdzić, że Wieża Eiffla ma 335 metrów wysokości, a nie faktyczną wysokość wynoszącą 330 metrów. Chociaż taki błąd może nie mieć żadnego znaczenia w zwykłej rozmowie, dokładne pomiary mają kluczowe znaczenie w sytuacjach o dużej stawce, takich jak udzielenie porady lekarskiej.

Aby ograniczyć halucynacje w sztucznej inteligencji, programiści stosują dwie główne techniki: szkolenie na kontradyktoryjnych przykładach, które wzmacnia modele, oraz dostrajanie ich za pomocą wskaźników karających błędy. Zrozumienie tych metod pomaga użytkownikom efektywniej wykorzystywać narzędzia AI i krytycznie oceniać generowane przez nie informacje.

Przykłady halucynacji AI

Wcześniejsze generacje modeli AI doświadczały częstszych halucynacji niż obecne systemy. Do godnych uwagi incydentów zalicza się bot AI firmy Microsoft, Sydney, który powiedział reporterowi technicznemu Kevinowi Roose’owi, że „był w nim zakochany”, oraz generator obrazów AI Gemini firmy Google tworzący historycznie niedokładne obrazy.

Jednak dzisiejsze narzędzia AI uległy poprawie, chociaż halucynacje nadal występują. Oto kilka typowych typów halucynacji AI:

• Fakt historyczny:narzędzie sztucznej inteligencji może stwierdzić, że pierwsze lądowanie na Księżycu miało miejsce w 1968 r., podczas gdy w rzeczywistości miało miejsce w 1969 r. Takie nieścisłości mogą prowadzić do błędnego przedstawiania znaczących wydarzeń w historii ludzkości.
• Błąd geograficzny:sztuczna inteligencja może błędnie określić Toronto jako stolicę Kanady, mimo że faktyczną stolicą jest Ottawa. Ta dezinformacja może dezorientować studentów i podróżników chcących dowiedzieć się więcej o geografii Kanady.
• Dane finansowe:model sztucznej inteligencji może mieć halucynacje dotyczące wskaźników finansowych, na przykład twierdzenia, że ​​cena akcji spółki wzrosła o 30 procent w ciągu jednego dnia, podczas gdy w rzeczywistości zmiana była znacznie niższa. Opieranie się wyłącznie na błędnych doradcach finansowych może prowadzić do złych decyzji inwestycyjnych.
• Wskazówki prawne:model sztucznej inteligencji może wprowadzać użytkowników w błąd, że umowy ustne są we wszystkich kontekstach tak samo prawnie wiążące, jak umowy pisemne. Pomija się przy tym fakt, że niektóre transakcje (na przykład transakcje dotyczące nieruchomości) wymagają pisemnych umów dla swojej ważności i wykonalności.
• Dezinformacja dotycząca badań naukowych:narzędzie sztucznej inteligencji może powoływać się na badanie, które rzekomo potwierdza przełom naukowy, podczas gdy takie badanie nie istnieje. Tego rodzaju halucynacje mogą wprowadzać badaczy i opinię publiczną w błąd co do znaczących osiągnięć naukowych.

Dlaczego zdarzają się halucynacje AI?

Aby zrozumieć, dlaczego halucynacje występują w sztucznej inteligencji, ważne jest poznanie podstawowych zasad działania LLM. Modele te opierają się na tak zwanej architekturze transformatora, która przetwarza tekst (lub tokeny) i przewiduje następny token w sekwencji. W przeciwieństwie do ludzkich mózgów nie mają one „modelu świata”, który z natury rozumie historię, fizykę lub inne przedmioty.

Halucynacja sztucznej inteligencji ma miejsce, gdy model generuje odpowiedź, która jest niedokładna, ale statystycznie podobna do danych zgodnych z faktami. Oznacza to, że chociaż odpowiedź jest fałszywa, ma semantyczne lub strukturalne podobieństwo do tego, co model przewiduje jako prawdopodobne.

Inne przyczyny halucynacji AI obejmują:

Niekompletne dane treningowe

Modele sztucznej inteligencji w dużym stopniu opierają się na zakresie i jakości danych, na których są szkolone. Gdy dane szkoleniowe są niekompletne lub brakuje im różnorodności, ogranicza to zdolność modelu do generowania dokładnych i wszechstronnych odpowiedzi. Modele te uczą się na przykładach i jeśli ich przykłady nie obejmują wystarczająco szerokiego zakresu scenariuszy, perspektyw i scenariuszy alternatywnych, ich wyniki mogą odzwierciedlać te luki.

To ograniczenie często objawia się halucynacjami, ponieważ model sztucznej inteligencji może uzupełniać brakujące informacje wiarygodnymi, ale niepoprawnymi szczegółami. Na przykład, jeśli sztuczna inteligencja miała głównie kontakt z danymi z jednego regionu geograficznego – powiedzmy z miejsca o rozbudowanym transporcie publicznym – może wygenerować odpowiedzi zakładające, że te cechy mają charakter globalny, podczas gdy tak nie jest. Sztuczna inteligencja nie jest wyposażona, aby wiedzieć, że wyrusza poza granice tego, w czym została wyszkolona. W związku z tym model może formułować pewne twierdzenia, które są bezpodstawne lub stronnicze.

Błąd w danych treningowych

Błąd w danych szkoleniowych jest powiązany z kompletnością, ale to nie to samo. Chociaż niekompletne dane odnoszą się do luk w informacjach przekazywanych sztucznej inteligencji, dane stronnicze oznaczają, że dostępne informacje są w jakiś sposób wypaczone. Jest to do pewnego stopnia nieuniknione, biorąc pod uwagę, że modele te są szkolone głównie w Internecie, a Internet ma nieodłączne uprzedzenia. Na przykład wiele krajów i populacji jest niedostatecznie reprezentowanych w Internecie – prawie 3 miliardy ludzi na całym świecie nadal nie ma dostępu do Internetu. Oznacza to, że dane szkoleniowe mogą nie odzwierciedlać odpowiednio punktu widzenia, języków i norm kulturowych społeczności offline.

Nawet wśród populacji internetowych istnieją różnice co do tego, kto tworzy i udostępnia treści, jakie tematy są omawiane i jak te informacje są prezentowane. Te zniekształcenia danych mogą prowadzić do uczenia się modeli sztucznej inteligencji i utrwalania błędów w ich wynikach. Pewien stopień stronniczości jest nieunikniony, ale zakres i wpływ zniekształcenia danych mogą się znacznie różnić. Dlatego celem twórców sztucznej inteligencji jest świadomość tych błędów, praca nad ich złagodzeniem, tam gdzie to możliwe, i ocena, czy zbiór danych jest odpowiedni dla zamierzonego przypadku użycia.

Brak jednoznacznej reprezentacji wiedzy

Modele sztucznej inteligencji uczą się poprzez statystyczne dopasowywanie wzorców, ale brakuje im uporządkowanej reprezentacji faktów i koncepcji. Nawet jeśli generują stwierdzenia oparte na faktach, nie „wiedzą”, że są one prawdziwe, ponieważ nie mają mechanizmu śledzenia, co jest prawdziwe, a co nie.

Ten brak wyraźnych ram faktycznych oznacza, że ​​chociaż LLM mogą generować wysoce wiarygodne informacje, przodują w naśladowaniu ludzkiego języka bez prawdziwego zrozumienia lub weryfikacji faktów, którymi dysponują ludzie. To podstawowe ograniczenie stanowi kluczową różnicę między sztuczną inteligencją a ludzkim poznaniem. W miarę ciągłego rozwoju sztucznej inteligencji, sprostanie temu wyzwaniu pozostaje kluczowe dla programistów w celu zwiększenia wiarygodności systemów sztucznej inteligencji.

Brak zrozumienia kontekstu

Kontekst ma kluczowe znaczenie w komunikacji międzyludzkiej, ale modele AI często mają z tym problem. Kiedy są pytani w języku naturalnym, ich odpowiedzi mogą być zbyt dosłowne lub wymijające, ponieważ brakuje im głębszego zrozumienia, jakie ludzie czerpią z kontekstu – naszej wiedzy o świecie, przeżytych doświadczeń, umiejętności czytania między wierszami i zrozumienia niewypowiedzianych założeń.

W ciągu ostatniego roku modele sztucznej inteligencji poprawiły się pod względem rozumienia kontekstu ludzkiego, ale nadal borykają się z takimi elementami, jak podtekst emocjonalny, sarkazm, ironia i odniesienia kulturowe. Wyrażenia slangowe lub potoczne, których znaczenie uległo zmianie, mogą zostać błędnie zinterpretowane przez model sztucznej inteligencji, który nie był ostatnio aktualizowany. Dopóki modele sztucznej inteligencji nie będą w stanie zinterpretować złożonej sieci ludzkich doświadczeń i emocji, halucynacje pozostaną poważnym wyzwaniem.

Jak często chatboty AI mają halucynacje?

Określenie dokładnej częstotliwości halucynacji AI jest trudne. Stawka jest bardzo zróżnicowana w zależności od modelu lub kontekstu, w jakim wykorzystywane są narzędzia AI. Według szacunków Vectary, start-upu zajmującego się sztuczną inteligencją, chatboty miewają halucynacje od 3 do 27 procent czasu, zgodnie z publicznym rankingiem halucynacji Vectary na GitHubie, który śledzi częstotliwość halucynacji wśród popularnych chatbotów podczas podsumowywania dokumentów.

Firmy technologiczne wdrożyły w swoich chatbotach zastrzeżenia, które ostrzegają ludzi o potencjalnych nieścisłościach i konieczności dodatkowej weryfikacji. Deweloperzy aktywnie pracują nad udoskonaleniem modeli, a postęp zaobserwowaliśmy już w zeszłym roku. Na przykład OpenAI zauważa, że ​​GPT-4 ma o 40 procent większe szanse na uzyskanie odpowiedzi opartych na faktach niż jego poprzednik.

Jak zapobiegać halucynacjom AI

Chociaż całkowite wyeliminowanie halucynacji AI nie jest możliwe, istnieje kilka strategii, które mogą zmniejszyć ich występowanie i wpływ. Niektóre z tych metod mają większe zastosowanie w przypadku badaczy i programistów pracujących nad udoskonalaniem modeli sztucznej inteligencji, inne zaś dotyczą zwykłych ludzi korzystających z narzędzi sztucznej inteligencji.

Popraw jakość danych szkoleniowych

Zapewnienie wysokiej jakości i różnorodnych danych ma kluczowe znaczenie przy próbie zapobiegania halucynacjom AI. Jeśli dane szkoleniowe są niekompletne, stronnicze lub brakuje im wystarczającej różnorodności, model będzie miał trudności z wygenerowaniem dokładnych wyników w przypadku nowych lub brzegowych przypadków. Badacze i programiści powinni dążyć do stworzenia kompleksowych i reprezentatywnych zbiorów danych obejmujących różne perspektywy.

Ogranicz liczbę wyników

W niektórych przypadkach halucynacje AI mają miejsce, gdy modele generują dużą liczbę odpowiedzi. Na przykład, jeśli poprosisz modelkę o 20 przykładów podpowiedzi do kreatywnego pisania, możesz zdać sobie sprawę, że jakość wyników spada pod koniec serii. Aby temu zaradzić, możesz ograniczyć zestaw wyników do mniejszej liczby i poinstruować narzędzie AI, aby skupiło się na najbardziej obiecujących i spójnych odpowiedziach, zmniejszając ryzyko, że uzyska daleko idące lub niespójne wyniki.

Testowanie i walidacja

Zarówno programiści, jak i użytkownicy muszą testować i weryfikować narzędzia AI, aby zapewnić niezawodność. Twórcy muszą systematycznie oceniać wyniki modelu pod kątem znanych prawd, ocen ekspertów i heurystyk oceny, aby zidentyfikować wzorce halucynacji. Nie wszystkie halucynacje są takie same; kompletna fabrykacja różni się od błędnej interpretacji wynikającej z braku wskazówki kontekstowej.

Użytkownicy powinni sprawdzić wydajność narzędzia pod kątem konkretnych celów, zanim zaufają jego wynikom. Narzędzia AI doskonale radzą sobie z takimi zadaniami, jak podsumowywanie tekstu, generowanie tekstu i kodowanie, ale nie są doskonałe we wszystkim. Podawanie przykładów pożądanych i niepożądanych wyników podczas testowania pomaga sztucznej inteligencji poznać Twoje preferencje. Inwestowanie czasu w testowanie i walidację może znacznie zmniejszyć ryzyko halucynacji AI w Twojej aplikacji.

Udostępnij szablony ustrukturyzowanych wyników

Możesz udostępnić szablony danych, które informują modele AI o dokładnym formacie lub strukturze, w jakiej mają być prezentowane informacje. Określając dokładnie, w jaki sposób wyniki powinny być uporządkowane i jakie kluczowe elementy powinny zostać uwzględnione, możesz poprowadzić system AI tak, aby generował bardziej ukierunkowane i trafne odpowiedzi. Na przykład, jeśli używasz narzędzia AI do recenzowania produktów Amazon, po prostu skopiuj cały tekst ze strony produktu, a następnie poinstruuj narzędzie AI, aby sklasyfikowało produkt, korzystając z następującego przykładowego szablonu:

Podpowiedź:Przeanalizuj dostarczony tekst strony produktu Amazon i wypełnij poniższy szablon. Wyodrębniaj istotne szczegóły, przechowuj informacje zwięzłe i dokładne oraz skup się na najważniejszych aspektach. Jeżeli brakuje jakichkolwiek informacji, należy wpisać „nie dotyczy”. Nie dodawaj żadnych informacji, do których nie ma bezpośredniego odniesienia w tekście.

• Nazwa produktu: [tutaj nazwa produktu wydedukowana przez sztuczną inteligencję]
• Kategoria produktu: [tutaj kategoria produktów wyprowadzona przez sztuczną inteligencję]
• Przedział cenowy: [cena obliczona przez sztuczną inteligencję tutaj] [dolary amerykańskie]
• Kluczowe cechy: [zwięzłe opisy tutaj]
• Plusy [pierwsze 3 w punktach]
• Wady [pierwsze 3 w punktach]
• Ocena ogólna: [ocena w skali 1–5]
• Podsumowanie produktu: [maksymalnie 2–3 zdania]

Prawdopodobieństwo, że wynikowy wynik będzie zawierał błędne dane wyjściowe i informacje niespełniające podanych specyfikacji, jest znacznie mniejsze.

Korzystaj z narzędzi AI w sposób odpowiedzialny

Chociaż wymienione powyżej strategie mogą pomóc w zapobieganiu halucynacjom związanym ze sztuczną inteligencją na poziomie systemowym, indywidualni użytkownicy mogą nauczyć się bardziej odpowiedzialnego korzystania z narzędzi sztucznej inteligencji. Praktyki te mogą nie zapobiec halucynacjom, ale mogą zwiększyć Twoje szanse na uzyskanie wiarygodnych i dokładnych informacji z systemów AI.

• Porównaj wyniki i dywersyfikuj źródła:nie polegaj wyłącznie na jednym narzędziu sztucznej inteligencji w zakresie kluczowych informacji. Porównaj wyniki z innymi renomowanymi źródłami, takimi jak uznane organizacje informacyjne, publikacje akademickie, zaufani eksperci i raporty rządowe, aby potwierdzić dokładność i kompletność informacji.
• Kieruj się własnym osądem:zdaj sobie sprawę, że narzędzia AI, nawet te najbardziej zaawansowane, mają ograniczenia i są podatne na błędy. Nie ufaj automatycznie ich wynikom. Podchodź do nich krytycznie i kieruj się własnym osądem, podejmując decyzje na podstawie informacji generowanych przez sztuczną inteligencję.
• Użyj sztucznej inteligencji jako punktu wyjścia:traktuj wyniki wygenerowane przez narzędzia sztucznej inteligencji jako punkt wyjścia do dalszych badań i analiz, a nie jako ostateczne odpowiedzi. Korzystaj ze sztucznej inteligencji do odkrywania pomysłów, generowania hipotez i identyfikowania istotnych informacji, ale zawsze sprawdzaj i rozwijaj wygenerowane spostrzeżenia w oparciu o ludzką wiedzę i dodatkowe badania.

Wniosek

Halucynacje AI wynikają z obecnych ograniczeń systemów LLM, począwszy od drobnych niedokładności po kompletne fabrykacje. Dzieje się tak z powodu niekompletnych lub stronniczych danych szkoleniowych, ograniczonego zrozumienia kontekstu i braku wyraźnej wiedzy.

Choć jest to wyzwanie, technologia sztucznej inteligencji pozostaje potężna i stale się udoskonala. Naukowcy pracują nad zmniejszeniem halucynacji i poczyniono znaczne postępy. Możesz ograniczyć halucynacje, udostępniając szablony strukturalne, ograniczając dane wyjściowe i weryfikując model pod kątem swojego przypadku użycia.

Eksploruj narzędzia AI z otwartym umysłem. Oferują imponujące możliwości, które zwiększają ludzką pomysłowość i produktywność. Kieruj się jednak swoją oceną na podstawie wyników wygenerowanych przez sztuczną inteligencję i powiąż informacje z wiarygodnymi źródłami. Wykorzystaj potencjał sztucznej inteligencji, zachowując czujność pod kątem halucynacji.