Hallucination

En hallucination är när en AI-modell levererar ett påstående som låter säkert men saknar stöd i källor eller träningsdata. Risken minskar när modellen hämtar och citerar källor innan den svarar, men den försvinner inte: även ett svar med källhänvisning kan återge källan fel.

Även: AI-hallucination, konfabulering.

Varför hittar en modell på? Därför att den i grunden inte slår upp fakta utan förutsäger text. Den producerar den fortsättning som är mest sannolik givet frågan och det den sett under träning, och när underlaget är tunt fyller den luckan med något som låter rätt. Tonen är lika säker när svaret är fel som när det är rätt, och det är just frånvaron av tvekan som gör fenomenet lömskt.

Motmedlet i moderna söksystem är att förankra svaret i hämtad text. När en modell först hämtar källor och sedan formulerar sig utifrån dem, mekaniken bakom RAG, sjunker risken påtagligt, eftersom den har något konkret att luta sig mot i stället för enbart sitt minne. Citering är kontrastbegreppet: det grundade svaret pekar på sin källa, hallucinationen har ingen.

För den som vill synas i AI-svar finns en praktisk läxa här. När en modell saknar en tydlig källa om ditt företag eller ditt ämne ökar risken att den gissar, och gissningen kan bli din beskrivning i svaret. Att publicera tydliga, hämtningsbara fakta om det du vill förknippas med är därför också ett sätt att minska utrymmet för andras och modellens påhitt.

Relaterade begrepp

• kontrasterar: citering