MODEL COLLAPSE
Om system som äter sig själva, och varför det spelar roll bortom neurala nätverk. On systems that eat themselves, and why this matters beyond neural networks.
När jag började träna generativa modeller på mitt eget bildarkiv väntade jag mig de tekniska problemen. Det jag inte väntade mig var hur mycket misslyckandena skulle lära mig om system i allmänhet. Om återkopplingsslingor. Om inavel. Om vad som händer när ett system bara ser sig självt. When I started training generative models on my own image archive, I expected the technical challenges. What I didn't expect was how much the failures would teach me about systems in general. About feedback loops. About inbreeding. About what happens when a system only sees itself.
Vad är modellkollaps?What Is Model Collapse?
Inom maskininlärning uppstår mode collapse när en generativ modell slutar producera variation. Istället för att lära sig hela fördelningen av träningsdata kollapsar den mot ett enda läge, ett enda mönster, ett enda svar på alla frågor. In machine learning, mode collapse happens when a generative model stops producing variety. Instead of learning the full distribution of the training data, it collapses onto a single mode, a single pattern, a single answer to every question.
Du ber om blått glas. Du får samma klump. Du ber om röd keramik. Samma klump. Du ber om något organiskt, något geometriskt, något mörkt, något ljust. Samma klump. Alltid samma klump. You ask for blue glass. You get the same blob. You ask for red ceramic. Same blob. You ask for something organic, something geometric, something dark, something bright. Same blob. Always the same blob.
Modellen har hittat ett lokalt minimum. Ett säkert svar som tillfredsställer diskriminatorn. Det är inte fel, tekniskt sett. Det är bara dött. Den har slutat utforska. The model has found a local minimum. A safe answer that satisfies the discriminator. It's not wrong, technically. It's just dead. It has stopped exploring.
Generatorn säger: "Varför försöka med något annat?"
Och samtalet tar slut. The discriminator says: "This is real enough."
The generator says: "Then why try anything else?"
And the conversation ends.
Den tekniska verklighetenThe Technical Reality
I ett GAN kämpar två nätverk mot varandra. Generatorn försöker skapa bilder. Diskriminatorn försöker upptäcka fejk. De borde driva varandra mot excellens. In a GAN, two networks fight each other. The generator tries to create images. The discriminator tries to detect fakes. They should push each other toward excellence.
Men ibland blir diskriminatorn för bra, för fort. Den lär sig att förkasta allt generatorn försöker. Generatorn, desperat efter vilket godkännande som helst, hittar ett trick som fungerar. Ett mönster. En klump. Och håller fast vid det. But sometimes the discriminator gets too good, too fast. It learns to reject everything the generator tries. The generator, desperate for any approval, finds one trick that works. One pattern. One blob. And it clings to it.
Balansen bryts. Återkopplingsslingan blir en dödsvirveln. The balance breaks. The feedback loop becomes a death spiral.
I mitt projekt:In My Project:
- V10: 76 features. För många signaler, för lite data. Kollapsade omedelbart.76 features. Too many signals, not enough data. Collapsed immediately.
- V11: Sänkt inlärningshastighet. Kollapsade ändå. Problemet var inte farten.Lowered learning rate. Still collapsed. The problem wasn't speed.
- V15: D/G-förlustkvoten sjönk till 0.08. Diskriminatordominans. Generatorn gav upp.D/G loss ratio dropped to 0.08. Discriminator dominance. Generator gave up.
- V16-V18: ADA-p sjönk från 0.8 till 0.02. Diskriminatorn vann för hårt.ADA-p dropped from 0.8 to 0.02. The discriminator was winning too hard.
Men det är inte bara neurala nätverkBut It's Not Just Neural Networks
Ju mer jag såg mina modeller kollapsa, desto mer började jag se samma mönster överallt. System som slutar utforska. Återkopplingsslingor som äter sig själva. Variationens död. The more I watched my models collapse, the more I started seeing the same pattern everywhere. Systems that stop exploring. Feedback loops that eat themselves. The death of variety.
GENETIK: InavelsdepressionGENETICS: Inbreeding Depression
En liten population som bara förökar sig med sig själv. För varje generation krymper genpoolen. Skadliga recessiva drag ackumuleras. Vitaliteten minskar. Populationen blir skör, oförmögen att anpassa sig. Samma princip: begränsad input, upprepad återkoppling, kollaps. A small population breeding only with itself. Each generation, the gene pool shrinks. Harmful recessive traits accumulate. Vigor decreases. The population becomes fragile, unable to adapt. Same principle: limited input, repeated feedback, collapse.
ASTRONOMI: Slutna systemASTRONOMY: Closed Systems
Ett stjärnhop isolerat från galaxen. Inget nytt material strömmar in. Under miljarder år koncentreras de tunga grundämnena. Stjärnbildningen förändras. Systemet utvecklas mot ett enda slutläge. Entropin vinner när det inte finns någon yttre input. A star cluster isolated from the galaxy. No new material flowing in. Over billions of years, the heavy elements concentrate. Star formation changes. The system evolves toward a single end state. Entropy wins when there's no outside input.
SAMHÄLLE: EkkammareSOCIETY: Echo Chambers
En grupp som bara pratar med sig själv. Algoritmer som visar dig det du redan tror på. Varje interaktion förstärker samma mönster. Avvikande åsikter filtreras bort. Diskursen kollapsar mot ett enda läge. Vi kallar det polarisering. A group that only talks to itself. Algorithms that show you what you already believe. Each interaction reinforces the same patterns. Dissent is filtered out. The discourse collapses onto a single mode. We call it polarization.
EKONOMI: MonopolECONOMY: Monopolies
När en aktör dominerar dör konkurrensen. Utan konkurrens stannar innovationen av. Marknaden kollapsar mot ett enda produktionssätt. Effektivt på kort sikt, skört på lång sikt. Samma mönster. When one player dominates, competition dies. Without competition, innovation stops. The market collapses onto a single mode of production. Efficiency in the short term, fragility in the long term. Same pattern.
Mikro och makroMicro and Macro
Det som slår mig är hur mönstret skalas. Samma dynamik utspelar sig på varje nivå: What strikes me is how the pattern scales. The same dynamic plays out at every level:
- Molekylärt:Molecular: Kristaller som bildar samma gitter om och om igen. Prioner som tvingar proteiner till en enda form.Crystals forming the same lattice over and over. Prions forcing proteins into a single shape.
- Cellulärt:Cellular: Cancer: celler som glömt hur man differentierar.Cancer: cells that have forgotten how to differentiate.
- Organismenivå:Organismal: Inavlade populationer. Monokulturer. Arter som överspecialiserar sig.Inbred populations. Monocultures. Species that over-specialize.
- Socialt:Social: Kulter. Totalitära stater. Marknader utan konkurrens.Cults. Totalitarian states. Markets without competition.
- Beräkningsmässigt:Computational: GAN:er. Språkmodeller tränade på sin egen output.GANs. Language models trained on their own output.
- Kosmiskt:Cosmic: Värmesdöden. Maximal entropi. Universums slutliga modkollaps.Heat death. Maximum entropy. The universe's final mode collapse.
Skalan förändras. Matematiken förändras. Men problemets form är densamma: ett system som förlorar tillgången till extern variation, som bara matar sig självt, kommer att kollapsa mot ett enda läge. The scale changes. The math changes. But the shape of the problem remains: a system that loses access to external variety, that feeds only on itself, will collapse onto a single mode.
Mångfald är syre.
Utan det kvävs system. Diversity is not a luxury.
Diversity is oxygen.
Without it, systems suffocate.
InavelsmetaforenThe Incest Metaphor
Jag återkommer hela tiden till inavel, som en strukturell kategori. I keep coming back to incest, as a structural category.
När mitt GAN tränar bara på output från sig självt är det den beräkningsmässiga motsvarigheten till ett släktträd som viker sig tillbaka mot sig självt. För varje generation krymper möjligheternas pool. Modellen blir mer säker och mindre kapabel. Den vet exakt vad den är, och det är allt den någonsin kan bli. When my GAN trains only on outputs from itself, it's the computational equivalent of a family tree that folds back on itself. Each generation, the pool of possibilities shrinks. The model becomes more confident and less capable. It knows exactly what it is, and that's all it can ever be.
Det är därför AI-forskare oroar sig för "modellkollaps" i stora språkmodeller. När internet fylls med AI-genererad text, och nya modeller tränar på den texten, riskerar vi att skapa en ouroboros. En orm som äter sin egen svans. Ett system som har glömt hur mänskligt tänkande såg ut. This is why AI researchers worry about "model collapse" in large language models. As the internet fills with AI-generated text, and new models train on that text, we risk creating an ouroboros. A snake eating its own tail. A system that has forgotten what human thought looked like.
Habsburg-käken hos maskininlärning. The Habsburg jaw of machine learning.
Vad räddar oss?What Saves Us?
Inom genetiken är svaret utkorning. Nya gener utifrån populationen. Inom astronomin är det gasmoln. Material utifrån som faller in i systemet. I samhället är det outsiderns. Invandraren. Kättaren. Den som inte hört vad alla andra redan vet. In genetics, the answer is outbreeding. New genes from outside the population. In astronomy, it's gas clouds. Material from elsewhere falling into the system. In society, it's the outsider. The immigrant. The heretic. The one who hasn't heard what everyone already knows.
I mitt projekt var svaret enklare: mer data, färre features och att veta när man ska sluta. In my project, the answer was simpler: more data, fewer features, and knowing when to stop.
Jag gick från 76 features till 6, vilket var vad mitt dataset faktiskt klarade av. Jag slutade be modellen lära sig saker den omöjligt kunde lära sig från den data jag hade. I went from 76 features to 6, which was what my dataset could actually support. I stopped asking the model to learn things it couldn't possibly learn from the data I had.
Ibland är lösningen på kollaps mindre komplexitet, ny input och att sluta innan systemet äter sig självt. Sometimes the solution to collapse is less complexity, fresh input, and stopping before the system eats itself.
En sista tankeA Final Thought
Jag började det här projektet för att försöka lära en maskin att se som jag. Det jag lärde mig istället är hur system dör. I started this project trying to teach a machine to see like me. What I learned instead is how systems die.
De dör inte av brist på intelligens eller resurser. De dör av brist på variation. Av att bara prata med sig själva. Av att optimera så hårt för ett mått att de glömmer alla andra. They don't die from lack of intelligence or lack of resources. They die from lack of variety. From talking only to themselves. From optimizing so hard for one metric that they forget all the others.
Den kollapsade modellen är inte dum. Den hittade en lösning. Den hittade bara den enda lösning den kunde se. Och det är tragedin: den kommer aldrig att veta vad som annars var möjligt. The collapsed model isn't stupid. It found a solution. It just found the only solution it could see. And that's the tragedy: it will never know what else was possible.
Kanske är det vad intelligens verkligen är: förmågan att motstå kollaps. Att fortsätta utforska när du hittat något som fungerar. Att förbli hungrig när du kunnat vara nöjd. Maybe that's what intelligence really is: the ability to resist collapse. To keep exploring when you've found something that works. To stay hungry when you could be satisfied.
Generatorn som fortsätter prova nya saker, även när diskriminatorn säger nej. The generator that keeps trying new things, even when the discriminator keeps saying no.