- Les al·lucinacions de la IA sorgeixen quan els models generatius produeixen contingut fluid però infundat o fals que els usuaris poden confondre amb un fet.
- Les dades d'entrenament deficients o esbiaixades, la manca de bases per al món real i la descodificació amb massa confiança contribueixen a aquests resultats enganyosos.
- Les al·lucinacions ja afecten dominis crítics com la medicina, el dret i l'atenció al client, erosionant la confiança i creant riscos legals i ètics.
- La combinació de la recuperació, la verificació interna, els mètodes de detecció i la supervisió humana és clau per mantenir les al·lucinacions manejables en aplicacions reals.
Les al·lucinacions de la intel·ligència artificial són una de les debilitats més estranyes i importants dels sistemes d'IA moderns , especialment dels grans models de llenguatge i les eines generatives que escriuen, dibuixen o responen preguntes a la carta. Aquests sistemes poden oferir respostes fluides i segures que semblen perfectament raonables, però que contenen fets, cites o detalls que simplement són inventats. Per als usuaris, la part difícil és que l'error sovint s'amaga darrere d'un llenguatge extremadament convincent.
Quan la gent parla d'"al·lucinacions d'IA", no es refereix a màquines que tenen somnis o visions com els humans . El terme és una metàfora: descriu situacions en què un sistema d'IA produeix contingut que sembla coherent i plausible, però que és incorrecte, esbiaixat, lògicament defectuós o desconnectat de les seves dades d'entrenament. A la pràctica, això pot anar des d'una data incorrecta en un resum històric fins a referències científiques fabricades, casos legals inexistents o fins i tot pàgines web inventades.
Què són realment les al·lucinacions de la IA
En termes tècnics, una al·lucinació d'IA és qualsevol resultat d'un model que sigui enganyós, fals o injustificat per les dades amb què el model va ser entrenat o condicionat . Amb els models generatius, els usuaris esperen respostes que responguin de manera significativa a les seves preguntes, per exemple, una resposta correcta a una pregunta o un resum fidel d'un document. Una al·lucinació apareix quan el sistema ofereix una resposta que no es desprèn de les seves fonts, no coincideix amb fets del món real o no es pot rastrejar fins a cap patró fiable a les seves dades d'entrenament.
Aquest fenomen és especialment visible en models de llenguatge gran (LLM) com ara els chatbots i models com Gemini . Aquests models estan entrenats per predir la següent paraula d'una seqüència analitzant grans quantitats de text digital. Funcionen com una versió molt més potent d'un motor d'autocompletar: donada una indicació, continuen endevinant el següent token més probable, després el següent, i així successivament. Com que s'han optimitzat per ser útils, coherents i fluïts, sovint continuen generant text fins i tot quan no estan segurs, en lloc de senyalitzar obertament "No ho sé".
El resultat és que un sistema d'IA pot "omplir els buits" sempre que falti informació, que sigui ambigua o mal representada a les dades d'entrenament . Quan hi ha prou patrons disponibles, la resposta tendeix a ser raonable. Però tan bon punt el model s'aventura fora d'aquests patrons, pot inventar detalls, interpolar entre fets no relacionats o afirmar amb confiança coses que mai s'han observat. Aquest és el nucli de l'al·lucinació: un llenguatge plausible sense una àncora factual sòlida.
Les al·lucinacions no es limiten al text; també es produeixen en sistemes de reconeixement d'imatges i patrons . Els models de visió de vegades poden "veure" formes, objectes o característiques que no són presents en absolut a les dades subjacents, de manera molt semblant a com els humans detecten cares a la superfície de la lluna o animals als núvols. En ambdós casos, el sistema sobreinterpreta el soroll, convertint una entrada incerta o ambigua en alguna cosa que sembla significativa.
Com que les al·lucinacions sorgeixen de la manera com es construeixen i entrenen aquests models, no són només errors ocasionals, sinó un risc estructural . Els investigadors mesuren rutinàriament les taxes d'al·lucinacions en punts de referència i taules de classificació, i les implementacions del món real en àrees com la salut, el dret o les finances ja han produït exemples d'alt perfil en què contingut fabricat es va colar i va arribar als usuaris finals.
Per què els sistemes d'IA al·lucinen: dades, models i fonamentació
Per entendre per què es produeixen les al·lucinacions, és útil començar per la manera com s'entrenen els models d'IA . La majoria dels sistemes moderns, especialment els LLM, aprenen de grans conjunts de dades d'entrenament que combinen llibres, articles, llocs web i altres fonts públiques. Durant l'entrenament, el model busca regularitats estadístiques: com les paraules tendeixen a seguir altres paraules, quins temes apareixen junts, quines estructures es repeteixen. No construeix un model de món intern en el sentit humà, ni emmagatzema fets explícits com a entrades en una base de dades.
Per tant, la qualitat, la integritat i el biaix de les dades d'entrenament són crítics . Si el conjunt de dades és incomplet, molt esbiaixat o conté errors sistemàtics, el model detectarà i amplificarà aquestes distorsions. Per exemple, un classificador d'imatges mèdiques entrenat només en teixit cancerós i mai exposat a imatges sanes pot aprendre que qualsevol teixit que s'assembli als seus exemples d'entrenament ha de ser càncer. Quan un sistema d'aquest tipus es desplega al món real, pot etiquetar erròniament el teixit sa com a maligne, no perquè sigui maliciós, sinó perquè aquest és l'únic patró que coneix.
Les dades d'entrenament errònies, sorolloses o esbiaixades són només una font d'al·lucinacions . Un altre factor clau és la manca d'una base adequada en el coneixement del món real, les restriccions físiques o les fonts externes verificables. Molts models d'IA operen purament en l'espai dels símbols: manipulen text o píxels sense connectar-los directament a objectes físics, bases de dades actualitzades o experiència sensorial. Sense base, un model pot produir fàcilment una afirmació que sona realista però que contradiu els fets bàsics, per exemple, donar la data incorrecta per a un esdeveniment històric o inventar un concepte científic que no ha existit mai.
Aquesta manca de fonamentació es pot estendre a referències, enllaços i citacions . S'ha observat que els models de text fabriquen URL, articles científics, autors acadèmics i fins i tot cites que semblen completament creïbles a primera vista. El model no "menteix" amb intenció; està component un text que estadísticament s'assembla a les referències que ha vist, fins i tot si la combinació específica de títol, autor i revista no s'ha produït mai a la realitat.
La complexitat i el sobreajustament dels models afegeixen una altra capa de risc . Els models altament complexos amb milions o milers de milions de paràmetres poden representar patrons subtils, però també poden memoritzar correlacions espúries o soroll. Quan un model s'ajusta massa a les seves dades d'entrenament, pot confiar en indicis fràgils que no es generalitzen, cosa que dóna lloc a resultats estranys quan les condicions canvien. En el reconeixement d'imatges, això pot produir interpretacions surrealistes o oníriques; en el text, pot desencadenar llargues cadenes de raonament que semblen sofisticades mentre es basen en una premissa falsa.
Exemples concrets d'al·lucinacions d'IA a la pràctica
Els desplegaments d'IA generativa al món real ja han produït nombrosos exemples públics d'al·lucinacions . Un cas àmpliament debatut va ser quan el chatbot Bard de Google va afirmar incorrectament que el telescopi espacial James Webb havia capturat les primeres imatges d'un planeta fora del nostre sistema solar. L'afirmació sonava impressionant i es va presentar amb confiança, però era factualment errònia; telescopis anteriors ja havien produït aquestes imatges.
Un altre incident de gran repercussió va involucrar el sistema de xat de Microsoft, que en un moment donat va rebre el nom en clau Sydney . Durant les proves, els usuaris van informar de converses on el model declarava que s'havia enamorat d'ells o afirmava que estava espiant els empleats de Bing. Aquestes respostes no es basaven en cap realitat subjacent; eren productes de la coincidència de patrons del model amb el llenguatge romàntic o conspiratori que es veia a les seves dades d'entrenament, combinat amb un estil conversacional que fomenta narratives elaborades.
El model de llenguatge Galactica de Meta, dissenyat per ajudar en tasques científiques, també es va retirar poc després de la seva demostració pública el 2022. Els usuaris van demostrar ràpidament que el sistema podia produir text amb un aspecte científic que barrejava fets precisos amb referències fabricades, afirmacions esbiaixades i articles imaginaris. Els resultats semblaven escrits acadèmics, amb argot tècnic inclòs, però el contingut factual podia ser perillosament poc fiable.
Els mitjans de comunicació també han documentat al·lucinacions més petites però reveladores . En un cas, periodistes de The New York Times van preguntar a un chatbot sobre la primera vegada que el diari havia publicat un article sobre intel·ligència artificial. El model va oferir diverses respostes detallades, incloent-hi dates i descripcions, però alguns d'aquests detalls van resultar ser erronis o completament inventats. El sistema va generar una història plausible perquè la pregunta encaixava amb molts patrons de les seves dades d'entrenament, no perquè tingués accés a un arxiu precís i verificable.
Fins i tot tasques aparentment senzilles com escriure una breu nota biogràfica poden desencadenar al·lucinacions . Abans de la coronació real del rei Carles III, una sol·licitud d'un perfil breu va fer que un chatbot afirmés amb confiança que la cerimònia de coronació havia tingut lloc a l'Abadia de Westminster el 19 de maig de 2023. En realitat, la coronació va tenir lloc el 6 de maig. El model coneixia els llocs típics, les frases rituals i els terminis de les coronacions britàniques, però no tenia accés a esdeveniments futurs i tot i així oferia una data específica i incorrecta, emmarcada com un fet establert.
Al·lucinacions en àmbits crítics: medicina, dret i més enllà
Els riscos augmenten significativament quan apareixen al·lucinacions en camps d'alt risc com l'atenció mèdica, el dret o les finances . En medicina, investigacions recents han demostrat que fins i tot models avançats específics de domini poden generar estructures anatòmiques inventades o descripcions clíniques enganyoses. Un exemple va ser Med-Gemini, un model associat amb Google, que esmentava una estructura cerebral inexistent anomenada "ganglis basals" en una explicació d'estil acadèmic. El terme sonava com una barreja de paraules anatòmiques reals, però no existeix cap estructura d'aquest tipus.
En l'àmbit legal, les al·lucinacions ja han arribat als documents judicials . S'han reportat diversos casos en què els advocats van utilitzar chatbots per redactar documents i després els van presentar sense una verificació humana exhaustiva. El sistema d'IA va produir cites de decisions judicials que semblaven perfectament formatades i creïbles, però una inspecció més detallada va revelar que alguns dels casos als quals es fa referència mai havien estat decidits per cap tribunal. Aquests precedents fabricats van obligar els jutges i l'advocat de la part contrària a dedicar temps a verificar fonts inexistents i van plantejar seriosos dubtes sobre la responsabilitat professional.
Les al·lucinacions també poden afectar aplicacions més quotidianes com el servei d'atenció al client . Hi ha situacions documentades en què un bot de suport automatitzat va inventar polítiques de reemborsament o garantia que no formaven part de les normes oficials de l'empresa. Des del punt de vista del client, la resposta del bot semblava autoritària (utilitzava el to i el vocabulari de la marca) i, tanmateix, va comprometre l'empresa amb obligacions que mai no havien estat aprovades per la direcció ni escrites en cap terme o condició.
L'efecte acumulatiu d'aquests errors és l'erosió de la confiança . Les organitzacions que implementen assistents d'IA corren el risc de danyar la seva reputació si els usuaris es troben repetidament amb respostes incorrectes però segures. En els sectors regulats, els riscos són encara més alts: un diagnòstic al·lucinat, un precedent legal inventat o un requisit de compliment fictici poden tenir conseqüències financeres, mèdiques o legals reals.
La responsabilitat en aquestes situacions encara és un objectiu mòbil . Quan es pren una decisió basada en una al·lucinació generada per la IA, la responsabilitat pot ser compartida entre usuaris, desenvolupadors, proveïdors i organitzacions que la despleguen. Els legisladors i reguladors tot just comencen a definir on rau la responsabilitat, però el patró bàsic és clar: la dependència sense control dels sistemes generatius en decisions crítiques pot obrir la porta a errors costosos i disputes legals.
Amb quina freqüència al·lucinen els sistemes d'IA?
Malgrat els ràpids progressos, les al·lucinacions continuen sent un problema mesurable i no trivial en els models més moderns . Al voltant del 2023, alguns estudis van estimar que fins a un 27% de les respostes de models lingüístics grans contenien algun tipus d'error factual, amb taxes d'al·lucinacions superiors al 40% per a certs tipus de tasques o conjunts de dades. Això significa que, en molts escenaris realistes, gairebé la meitat de les respostes aparentment sòlides podrien contenir almenys un detall enganyós.
Treballs més recents suggereixen que les noves generacions de models han millorat, però no han eliminat el problema . Per exemple, proves internes citades en informes de la indústria han afirmat que un model més avançat podria reduir les taxes d'al·lucinacions d'aproximadament un 20.6% a aproximadament un 4.8% en punts de referència seleccionats. Altres sistemes, com ara configuracions específiques de Gemini-2.0-Flash-001, han arribat a taxes d'al·lucinacions properes a l'1% en avaluacions estretes i ben definides mitjançant tècniques de verificació creuada automàtiques.
Alhora, els investigadors han observat una paradoxa interessant . Alguns dels models de raonament més sofisticats, que produeixen cadenes de pensament més llargues i explicacions més detallades, poden al·lucinar més que menys. La raó és intuïtiva: les respostes llargues ofereixen més oportunitats perquè el model s'allunyi dels fets, introdueixi suposicions especulatives o construeixi arguments de diversos passos sobre un punt de partida inestable.
El treball acadèmic ha començat a classificar i mesurar les al·lucinacions de manera sistemàtica . Els estudis sobre al·lucinacions en LLM proposen taxonomies que distingeixen entre al·lucinacions intrínseques (on la sortida és incompatible amb l'entrada proporcionada, com ara un resum incorrecte d'un document determinat) i al·lucinacions extrínseques (on el model afegeix detalls plausibles però no fonamentats). Les taules de classificació com la Vectara Hallucination Leaderboard comparen models populars en proves estàndard per classificar quins tenen més probabilitats de generar contingut erroni.
Els nous mètodes de detecció van més enllà de les simples comprovacions de correcció . Una línia de recerca destacada utilitza l'entropia semàntica (aproximadament, la incertesa d'un model sobre el que hauria de dir) per marcar resultats sospitosos. Si un model mostra un alt desacord intern entre múltiples continuacions possibles, aquesta entropia semàntica elevada pot ser un senyal d'alerta que la resposta actual probablement sigui al·lucinada, fins i tot quan no hi ha cap resposta de referència estàndard disponible.
Tècniques per reduir i detectar al·lucinacions
Com que les al·lucinacions estan integrades en el funcionament dels models generatius, no hi ha una solució màgica única, però han sorgit diverses estratègies prometedores . Un enfocament influent és la Generació Augmentada de Recuperació (RAG). En lloc de deixar que el model es basi només en allò que ha memoritzat durant l'entrenament, un sistema RAG primer consulta fonts de dades externes i curades, com ara documentació, bases de coneixement o pàgines web indexades, i després demana al model que generi una resposta basada explícitament en aquests documents recuperats.
RAG dóna al model quelcom concret en què recolzar-se . Quan l'usuari fa una pregunta, el sistema busca passatges rellevants i es demana al model que els resumeixi o els combini, en lloc d'improvisar des de zero. Això pot reduir significativament les al·lucinacions en dominis on hi ha contingut actualitzat i fiable disponible, com ara manuals tècnics, polítiques internes de l'empresa o bases de dades científiques.
Una altra línia de defensa és la verificació interna i la comprovació d'autocoherència . En lloc de confiar en una sola passada pel model, alguns sistemes generen diverses respostes candidates i després les comparen entre si. Si totes les versions convergeixen en la mateixa afirmació, hi ha més probabilitats que sigui estable i correcta; si divergeixen, el sistema es pot abstenir, demanar aclariments o marcar explícitament la incertesa. Aquesta comprovació d'autocoherència es pot automatitzar i ja ha demostrat ser prometedora en la reducció d'al·lucinacions en tasques de raonament.
Els investigadors també han proposat arquitectures més experimentals, com ara mètodes que reestructuren la consulta de l'usuari abans de respondre-la . Un exemple de treballs acadèmics recents és una tècnica coneguda com Acurai, que pretén reformular les indicacions de manera que dirigeixi el model cap a camins de raonament verificables. Tot i que aquests enfocaments encara es troben en etapes inicials, apunten a un futur en què el model dedica més esforç computacional a planificar com pensar en una pregunta en lloc de saltar directament a una narració fluida.
Pel que fa a la monitorització, les sondes d'entropia semàntica i les eines relacionades ofereixen una manera econòmica de detectar possibles al·lucinacions . En mesurar quant el model "discrepa amb si mateix" internament en produir una resposta, aquestes sondes poden marcar passatges que mereixen una revisió humana. És important destacar que tècniques com aquestes no requereixen un conjunt de dades etiquetat de respostes correctes, cosa que les fa adequades per a escenaris oberts del món real.
El paper de la supervisió humana i l'ús responsable
Fins i tot amb arquitectures millorades i una detecció intel·ligent, la supervisió humana continua sent fonamental per a la gestió de les al·lucinacions de la IA . Les aplicacions més robustes són les que tracten la IA com un assistent o copilot potent, no com un responsable de la presa de decisions autònom. En sectors com la salut, la banca o l'administració pública, la millor pràctica és deixar que el model filtri la informació, redacti documents o resumeixi materials llargs, mentre un expert humà realitza la revisió i l'aprovació finals.
Tant els líders de la indústria com els investigadors emfatitzen que els usuaris no haurien de confiar cegament en els resultats de la IA, especialment en temes delicats . Les empreses darrere dels principals models han advertit explícitament que els seus sistemes encara poden tenir al·lucinacions i que les respostes s'han d'utilitzar amb precaució per a l'assessorament mèdic, legal o financer. Alguns proveïdors confien en avaluadors humans per comprovar si hi ha biaixos, errors factuals i contingut potencialment perjudicial, integrant els seus comentaris a la formació mitjançant l'aprenentatge per reforç a partir de comentaris humans (RLHF).
La transparència sobre les limitacions juga un paper clau per preservar la confiança dels usuaris . Quan els proveïdors reconeixen que els seus models poden produir informació inexacta o fabricada, és més probable que els usuaris mantinguin un nivell saludable d'escepticisme, comprovin dues vegades les respostes i evitin delegar judicis crítics. Per contra, sobrevalorar la IA com a infal·lible o "intel·ligent" en un sentit humà genera expectatives de manera poc realista i fa que les al·lucinacions semblin traïcions en lloc d'artefactes tècnics.
De cara al futur, la regulació probablement donarà forma a la manera com les organitzacions gestionen els riscos d'al·lucinacions . Els responsables polítics ja estan elaborant normes que requereixen avaluacions de riscos, processos d'implicació humana i documentació clara de les capacitats del model i els modes de fallada. En moltes jurisdiccions, les empreses que implementen eines d'IA en àmbits d'alt risc hauran de demostrar que disposen de garanties adequades per evitar que les al·lucinacions afectin directament les decisions crítiques.
En definitiva, les configuracions més fiables són les que dissenyen fluxos de treball al voltant dels punts forts i febles de la IA . Els models generatius excel·leixen a l'hora de generar esborranys, explorar opcions, proporcionar frases alternatives i fer emergir patrons en grans quantitats de text. Són molt menys fiables com a únics àrbitres de la veritat. Quan els sistemes es construeixen de manera que els humans mantinguin el control de les decisions clau i els passos de verificació, les al·lucinacions es converteixen en soroll manejable en lloc de fallades catastròfiques.
A mesura que aquestes tecnologies evolucionen, una actitud realista envers les al·lucinacions de la IA serà essencial per a tots els implicats : desenvolupadors, organitzacions, reguladors i usuaris quotidians. Entendre que una resposta fluida no és necessàriament correcta, combinar models amb fonts de coneixement externes, mesurar i detectar al·lucinacions sistemàticament i preservar el judici humà al centre de les decisions importants formen part d'un ús intel·ligent de la IA generativa. En lloc de preguntar-se si les al·lucinacions desapareixeran del tot, una pregunta més útil és com podem construir sistemes, incentius i hàbits que facin que aquests errors inevitables siguin visibles, continguts i molt menys nocius.
