- El col·lapse del model es produeix quan la IA generativa s'entrena repetidament amb les seves pròpies sortides sintètiques, erosionant la diversitat i la precisió.
- Aquest bucle d'autoalimentació amenaça els LLM utilitzats en disseny, codificació i consultoria, amplificant el biaix i degradant el rendiment de les minories i els casos límit.
- La mitigació exigeix estratègies de dades centrades en les persones, seguiment de la procedència, marques d'aigua i un ús acurat de dades sintètiques juntament amb la generació augmentada de recuperació.
- La regulació i l'ús humà responsable són crucials per mantenir la IA com a amplificador cognitiu en lloc de permetre que els models i els usuaris es degradin conjuntament amb el temps.
La IA generativa s'ha convertit en l'assistent de referència per a la codificació, l'escriptura, el disseny i la presa de decisions, però hi ha un risc creixent que gairebé ningú fora de la comunitat investigadora estigui realment tenint en compte: què passa quan aquests sistemes s'entrenen cada cop més amb la seva pròpia sortida sintètica en lloc de dades humanes fresques. Aquest bucle d'autoalimentació lent és el que els investigadors han anomenat col·lapse del model, i les seves conseqüències van molt més enllà d'unes quantes males respostes en un chatbot.
Quan el col·lapse del model afecta els models de llenguatge gran (LLM) i els sistemes generatius utilitzats a l'interior eines de disseny, codificació i eines de treball basat en el coneixement, el problema no és només una pèrdua de precisió sinó una degradació estructural de com aquests models representen la realitat: Els esdeveniments excepcionals desapareixen, els biaixos s'amplifica, la creativitat es redueix i tot l'ecosistema digital comença a reflectir les seves pròpies distorsions. Comprendre com funciona això, per què passa i què podem fer encara per evitar-ho s'ha convertit en una qüestió estratègica per als proveïdors d'IA, els reguladors i qualsevol empresa que aposti els seus processos per eines de disseny basades en IA.
Què volen dir els investigadors amb "col·lapse del model"
Un mantra de llarga data en l'aprenentatge automàtic diu que un sistema d'IA només és tan bo com les dades de les quals aprèn, i el col·lapse del model és el que passa quan aquestes dades deixen de reflectir el món real i passen a estar dominades pel contingut generat per la IA. Una investigació recent dirigida per Ilia Shumailov, Zakhar Shumaylov, Yiren Zhao i els seus col·laboradors al Regne Unit i al Canadà mostra que els models generatius ajustats repetidament sobre els resultats de generacions anteriors desenvolupen defectes irreversibles que els fan pràcticament inutilitzables.
El mecanisme és enganyosament simple: cada vegada que un model nou s'entrena amb una barreja de dades reals i dades sintètiques de models anteriors, hereta no només patrons útils, sinó també els seus errors i biaixos.; després hi afegeix els seus propis errors. Iteració rere iteració, aquestes distorsions s'acumulen i la distribució apresa s'allunya de la distribució original de dades que provenia dels humans i del món real.
En els seus experiments, els investigadors van observar dues fases diferents que van anomenar col·lapse del model primerenc i tardà: Al principi, el model comença a "oblidar" les cues de la distribució —els casos inusuals de baixa freqüència— tot i que encara funciona decentment amb patrons comuns; més tard, a mesura que dominen les dades sintètiques, la distribució s'esfondra tant que ja no s'assembla gens a les dades originals, i els resultats del model degeneren en contingut incoherent o sense sentit.
Aquesta dinàmica és especialment preocupant per als models de llenguatge grans entrenats amb dades web obertes: Actualment, els LLM s'alimenten principalment de text escrit per humans extret de llocs web, fòrums, repositoris de codi i publicacions. Però a mesura que les entrades de blog, articles, documentació, fragments de codi, imatges i fins i tot treballs de recerca escrits per IA inunden la web, les futures sessions de formació inevitablement ingereixen una fracció creixent de contingut sintètic generat per màquina.
Si aquesta tendència autoreferencial no es controla acuradament, cada nova generació de models utilitzats en eines de disseny, copilots de codificació o sistemes de contingut aprendrà cada cop menys dels humans i cada cop més de còpies imperfectes de còpies de la seva pròpia producció passada. Amb el temps, la capacitat dels models per representar el món fidelment i gestionar casos límit s'erosiona gradualment.
Per què les dades sintètiques perjudiquen els models generatius
Els models generatius no reprodueixen les seves dades d'entrenament literalment; comprimeixen els patrons en una distribució de probabilitat, i aquesta compressió inherentment emfatitza allò que és comú i suavitza allò que és rar. Quan aquests models generen noves dades, els resultats tendeixen a agrupar-se al voltant de la massa central d'aquesta distribució en lloc dels extrems, de manera que les mostres sintètiques són menys diverses i menys riques que les dades originals de les quals el model va aprendre.
L'equip de Shumailov va formalitzar aquesta intuïció i va demostrar que l'entrenament repetit amb dades sintètiques introdueix tres capes d'error que es reforcen mútuament: error d'aproximació estadística perquè els models sempre veuen una mostra finita de la realitat, error d'expressivitat perquè les arquitectures no poden representar perfectament distribucions complexes del món real i error d'aprenentatge perquè els mètodes d'optimització com el descens de gradient només aproximen la solució ideal.
En experiments controlats amb models de probabilitat simples, els autors van demostrar com, generació rere generació, el model perd informació sobre esdeveniments de baixa probabilitat i convergeix a distribucions degenerades: En distribucions discretes, el model es col·lapsa cap a un únic valor sobrerepresentat (una mena de pic delta), mentre que per a les distribucions gaussianes la variància es redueix cap a zero, esborrant la variabilitat.
A continuació, van ampliar l'anàlisi a models lingüístics entrenant repetidament un model OPT-125M sobre Wikitext-2, on cada nou conjunt d'entrenament incloïa text generat per iteracions anteriors: El rendiment va disminuir gradualment, el model va derivar cap a seqüències genèriques excessivament probables i va començar a emetre fragments estranys i estadísticament improbables: símptomes de les distorsions acumulades predites per la teoria.
Des d'un punt de vista pràctic, això significa que fins i tot quantitats moderades de contingut sintètic a la barreja d'entrenament poden inclinar el model cap a un comportament esbiaixat o fràgil, molt abans que col·lapsi completament. Les formes lingüístiques rares, els dialectes minoritaris, els temes inusuals o els patrons tècnics de nínxol són els primers a desaparèixer, substituïts per una sobrerepresentació del que és més comú en el flux de dades sintètiques.
Impacte en les eines de disseny, els assistents de codificació i el treball professional
Les preocupacions sobre el col·lapse del model no es limiten a punts de referència abstractes; afecten directament com funcionen les eines de disseny, els copilots de programació i els serveis professionals. Moltes organitzacions ja exigeixen l'ús de la IA per a almenys algunes històries d'usuari per sprint, basant-se en sistemes com GitHub Copilot o assistents basats en Databricks per esborrar codi, refactoritzar mòduls o esbossar arquitectures.
L'augment immediat de la productivitat és real (els desenvolupadors estalvien hores gràcies als patrons apresos de milions de línies de codi creat per humans), però la pregunta és què passarà quan, d'aquí a cinc o deu anys, una part important d'aquesta base de codi hagi estat suggerida per la IA. Si els models futurs s'entrenen en gran mesura en repositoris cada cop més plens de fragments, comentaris i materials repetitius generats per IA, el bucle d'aprenentatge començarà a semblar-se a "si entra brossa, surt brossa" a escala planetària.
Un patró similar està sorgint en els fluxos de treball de contingut i disseny: Els blogs corporatius, els articles "d'experts", les descripcions de productes, els visuals de màrqueting i fins i tot els guions de podcasts ara es creen amb freqüència o s'hi assisteixen en gran mesura eines com ChatGPT. Models de bessons o IA de disseny especialitzades. A mesura que aquests recursos sintètics es publiquen en línia i posteriorment s'ingereixen en conjunts d'entrenament, els models aprenen d'artefactes que ja s'havien suavitzat, promediat i ocasionalment incorrecte.
Els investigadors i els professionals sovint descriuen això com una cambra de ressonància d'IA o, com va dir un expert, una serp que es menja la cua: Un cop els models consumeixen principalment contingut creat per IA, cada nova generació amplifica els biaixos i les simplificacions introduïts per l'anterior, i el sistema perd la noció de la diversitat desordenada però inestimable de l'expressió humana real.
En els serveis professionals, aquest bucle de retroalimentació interactua amb un altre canvi estructural: el col·lapse de la clàssica piràmide de palanca en què s'han basat les empreses de consultoria, advocades i auditoria durant dècades. Durant gran part del segle XX, les grans empreses d'estratègia i serveis professionals van gestionar un model de negoci en què exèrcits d'analistes júnior processaven dades, construien models i redactaven informes, mentre que una petita capa de socis capturava la major part del valor.
Com la IA generativa aplana la "piràmide de palanca" de la consultoria
La base econòmica de la piràmide de consultoria era simple: molta feina analítica intensiva en mà d'obra justificava grans equips de júniors i la facturació per hores, amb una rendibilitat impulsada per la diferència entre el que pagaven els clients i el que costaven aquests júniors. Tasques com ara la construcció de models financers, la compilació de visions generals del mercat, la realització d'anàlisis DAFO o la redacció de presentació de clients eren totes lentes, repetibles i escalables.
La IA generativa i l'automatització avançada estan trencant aquesta lògica absorbint grans quantitats de treball cognitiu a una fracció del temps i el cost. Analistes del MIT Sloan i de la Harvard Business School han demostrat que les eines generatives poden reduir el temps de les tasques analítiques estructurades fins a un 80%, cosa que soscava fonamentalment la necessitat de grans equips a la part inferior de la piràmide.
Comentaristes com Joe Nocera han assenyalat que tasques que abans requerien equips sencers setmanes o mesos ara poden ser esbossades en minuts per un consultor sènior amb un potent assistent d'IA, cosa que ha fet que moltes grans empreses redueixin discretament la contractació júnior o iniciïn acomiadaments en llocs de treball amb molta feina d'analistes. Tot i que no totes les posicions de nivell inicial desapareixeran, la justificació econòmica per mantenir capes espesses de júniors s'està debilitant clarament.
Alhora, els clients i fins i tot els governs estan pressionant molt per deixar de banda la facturació de temps i materials i passar a contractes basats en el valor i centrats en resultats mesurables. Amb la IA que augmenta la productivitat, es fa molt més difícil justificar cobrar per milers d'hores humanes quan gran part del treball de base es pot automatitzar, de manera que la vella fórmula de l'apalancament comença a esquerdar-se.
El resultat net és un col·lapse gradual de l'estructura piramidal tradicional a favor de configuracions més àgils: petites botigues d'experts, microequips que combinen el criteri sènior amb eines d'IA pesades i equips d'agents d'IAi professionals sèniors independents capaços d'oferir resultats d'alta qualitat sense un gran repartiment de suport. En aquest panorama, el valor únic ja no és la capacitat de mobilitzar hordes d'analistes júnior, sinó la capacitat de fer les preguntes adequades, dissenyar intervencions i navegar per entorns complexos i plens de restriccions.
Biaix, dades de minories i l'ètica del col·lapse
Un dels aspectes més preocupants del col·lapse dels models és el seu impacte desigual: tendeix a esborrar primer els senyals de baixa freqüència, cosa que a la pràctica sovint significa minories, casos límit i escenaris excepcionals. Com que els models generatius són màquines probabilístiques esbiaixades cap a mitjanes "segures", les seves sortides sintètiques sobrerepresenten el que és comú a les dades d'entrenament i infrarepresenten el que és rar però encara important.
Com ha assenyalat la investigadora Emily Wenger, fins i tot una tasca senzilla de generació d'imatges com ara "dibuixar gossos" gravita gradualment cap a les races més comunes del conjunt d'entrenament, com ara els golden retrievers, mentre que les races rares pràcticament desapareixen al llarg de les generacions. Traduïda al llenguatge i a les dades socials, aquesta dinàmica pot marginar encara més grups ja infrarepresentats.
Els experiments amb LLM mostren que, en les primeres etapes de col·lapse, el rendiment es degrada primer en dades minoritàries o de baixa freqüència abans que el model es trenqui completament. Això significa que la justícia i la inclusió estan en risc molt abans que el col·lapse esdevingui evident per als usuaris finals, i les eines integrades en els processos de disseny o de presa de decisions poden fallar silenciosament per a poblacions específiques.
A nivell polític, la Llei d'IA de la Unió Europea incorpora aquestes preocupacions directament al marc regulador emfatitzant la qualitat de les dades, la propietat intel·lectual, la privadesa, la protecció de les dades personals i la mitigació dels biaixos. La legislació reconeix implícitament que les dades sintètiques per si soles no poden garantir models d'alta qualitat i que la barreja descuidada de contingut generat per IA en corpus de formació pot xocar tant amb els principis ètics com amb les obligacions legals.
També hi ha una dimensió cultural i cognitiva: si la gent es recolza en la IA per substituir completament la seva pròpia escriptura, anàlisi o pensament creatiu, ambdues cares es degraden. Els models es basen menys en els matisos humans i els humans corren el risc de perdre les habilitats que necessiten per utilitzar i supervisar aquests sistemes de manera crítica. Si s'utilitza amb prudència, la IA pot amplificar el raonament, la creativitat i la resolució de problemes; si s'utilitza com a crossa, pot accelerar un declivi mutu.
Escasetat de dades, IA dels Habsburg i la web autoalimentada
Una observació recurrent en treballs recents és que el text, les imatges i el codi humans d'alta qualitat no són recursos infinits. Algunes projeccions suggereixen que el subministrament de text net, divers i legalment utilitzable, escrit per humans, adequat per entrenar models grans, podria esgotar-se en pocs anys, cosa que empeny els proveïdors a basar-se més en dades sintètiques, tret que aconsegueixin accés exclusiu a fonts premium.
Aquesta és una de les raons que hi ha darrere de l'onada d'acords de llicència de contingut entre empreses d'IA i les principals editorials, organitzacions de notícies i altres titulars de drets. Iniciatives com la família de models de la fundació ALIA, finançada amb fons públics a Espanya, reconeixen explícitament que l'obtenció de conjunts de dades humanes de primera qualitat i ben seleccionades és una prioritat estratègica si volen evitar construir sobre material contaminat o de baixa qualitat.
Alhora, Internet s'està saturant ràpidament de contingut generat per IA: blogs corporatius, publicacions a les xarxes socials, articles de SEO, imatges de stock i fins i tot articles d'aspecte acadèmic produïts o escrits de manera fantasma per sistemes generatius. Com que els futurs LLM i les eines generatives inevitablement rastrejaran la mateixa xarxa, la distinció entre fonts humanes i sintètiques esdevé cada cop més borrosa.
L'investigador Jathan Sadowski va encunyar el terme «IA dels Habsburg» per capturar aquesta idea de sistemes deformats per l'autocria repetida —com una línia genealògica que pateix una consanguinitat excessiva— i el concepte s'ha convertit en una abreviatura del col·lapse del model en cercles d'experts. La pregunta oberta és quanta dada sintètica és massa i on es troba el punt d'inflexió; l'evidència actual suggereix que depèn en gran mesura de la mida del model, l'arquitectura, la recepta d'entrenament i la qualitat de les mostres reals i sintètiques.
De moment, el consens no és que les dades sintètiques siguin inherentment dolentes, sinó que el reciclatge a gran escala i sense filtrar dels resultats de la IA en pipelines d'entrenament sense seguiment de la procedència, equilibri ni control de qualitat és una recepta per a la degradació a llarg termini. Si s'utilitzen amb cura i es barregen amb dades humanes sòlides, les mostres sintètiques de vegades poden ajudar; si s'utilitzen com a substitut barat de la realitat, provoquen el col·lapse.
Estratègies tècniques i de governança per evitar el col·lapse
Investigadors i professionals de la indústria exploren activament maneres de mitigar o retardar el col·lapse dels models, especialment per a sistemes profundament integrats en eines de disseny i fluxos de treball empresarials. Diverses estratègies complementàries estan sorgint tant d'articles acadèmics com de la pràctica industrial.
El primer pilar és la procedència estricta de les dades i la marca d'aigua del contingut: Grans proveïdors com Google, OpenAI i Meta ja marquen o estan experimentant amb marques d'aigua en els seus resultats generats per tal que els futurs processos d'entrenament puguin identificar i filtrar el contingut sintètic. Perquè això funcioni a escala d'ecosistema, aquestes marques d'aigua (o almenys els seus mètodes de detecció) s'han de compartir o estandarditzar per tal que altres entrenadors de models puguin excloure o reduir el pes del material sintètic de manera fiable.
Un segon pilar és preservar i ampliar l'accés a fonts de dades humanes originals: Cal mantenir, llicenciar i actualitzar periòdicament els arxius, les sales de redacció, els corpus seleccionats, les bases de dades específiques de domini i els repositoris de codi d'alta qualitat. Sense un flux continu de dades humanes diverses, ni tan sols les mesures de mitigació ben intencionades poden aturar la deriva cap al domini sintètic.
En tercer lloc, diversos estudis indiquen que una barreja acurada de dades sintètiques i originals pot atenuar o ajornar la fase destructiva del col·lapse, tot i que no elimina completament el risc. La idea és utilitzar dades sintètiques selectivament —per exemple, per equilibrar classes, explorar escenaris poc freqüents o augmentar estructures infrarepresentades— tot mantenint les dades humanes com a àncora de la distribució.
La Generació Augmentada de Recuperació (RAG) afegeix una altra potent capa de protecció desacoblant els paràmetres del model del coneixement factual tant com sigui possible. En una configuració RAG, el model generatiu consulta una base de coneixement externa i verificada (documents, bases de dades, biblioteques de disseny, bases de codi) en el moment de la inferència i basa les seves respostes en proves recuperades en lloc de confiar únicament en allò que es va memoritzar durant l'entrenament.
Els proveïdors de núvol com Amazon descriuen RAG com una manera d'optimitzar els resultats de LLM obligant-los a fer referència a fonts autoritàries fora del seu corpus d'entrenament abans de generar una resposta. Tot i que RAG no elimina la imprevisibilitat dels models generatius, pot reduir significativament les al·lucinacions i mitigar l'impacte de les representacions col·lapsades ancorant els resultats en el coneixement humà actualitzat.
Finalment, alguns experts defensen "restabliments" periòdics en els processos d'entrenament: en lloc d'ajustar sense parar les noves mescles contaminades sintèticament, les organitzacions poden tornar a entrenar o actualitzar periòdicament els models bàsics en conjunts de dades recentment recollits, principalment humans. Aquest plantejament és més car i tècnicament exigent, però ajuda a contrarestar les distorsions acumulatives que defineixen el col·lapse.
Regulació, responsabilitat i el futur de la col·laboració entre humans i IA
La publicació de la Llei d'IA de la UE i esforços reguladors similars subratllen que el col·lapse del model no és només un repte tècnic, sinó també de governança i social. Els legisladors ara esperen que els proveïdors de models documentin les fonts de dades, respectin la propietat intel·lectual, protegeixin les dades personals i abordin activament el biaix i la imparcialitat, uns requisits que són més difícils de complir si els conjunts d'entrenament estan plens de contingut sintètic impossible de rastrejar.
Per a les empreses que adopten la IA en el disseny, el desenvolupament de programari i els serveis professionals, això significa que la diligència deguda del proveïdor ha d'anar més enllà de les mètriques de qualitat del model i incloure preguntes sobre la governança de dades, el seguiment de la procedència i les polítiques de dades sintètiques. Assumir cegament que "més dades sempre són millor" pot ser contraproduent si aquests terabytes addicionals són en gran part soroll autogenerat.
Pel que fa a l'individu, la manera com els professionals utilitzen la IA generativa donarà forma tant a l'evolució dels models com a les seves pròpies habilitats. Hi ha una diferència crucial entre utilitzar la IA per externalitzar completament el treball d'escriptura, anàlisi o disseny i utilitzar-la com a soci de pensament per ampliar la creativitat, provar idees i accelerar l'exploració, tot mantenint el judici humà sobre el resultat final.
Els experts en alfabetització en IA emfatitzen que si deixem que els models ens substitueixin constantment en lloc d'augmentar-nos, ens arrisquem a una doble degradació: sistemes entrenats amb contingut cada cop més sintètic i de baix esforç, i humans que perden l'hàbit del raonament profund, la lectura acurada i la creació deliberada. Mantenir els humans fermament "per sobre" de les eines en termes de pensament crític és essencial si volem que la IA continuï sent útil en lloc d'arrossegar-nos a una espiral descendent.
En última instància, evitar el col·lapse del model —especialment en els motors d'IA integrats en eines de disseny i plataformes de treball de coneixement— requerirà una combinació de solucions tècniques, pressió reguladora i canvis culturals en la manera com creem i consumim contingut digital. Si es fa un seguiment de la procedència de les dades, es valoren i es protegeixen les fonts generades per humans, s'utilitzen les dades sintètiques amb moderació i la IA continua sent un multiplicador de força per a la cognició humana en lloc d'un substitut, encara hi ha un camí clar cap a models que es mantinguin rellevants, justos i precisos en lloc de col·lapsar en la irrellevància autoreferencial.
