World models in AI: de volgende grens voorbij LLM's (gids 2026)
By Surya Pratap
19 juni 2026
12 min read
AI Research · Physical AI · 2026
19 juni 2026
12 min read
Physical AIHover to exploreYann LeCun verliet Meta na 12 jaar als Chief AI Scientist om er een te bouwen. Fei-Fei Li haalde $1,23 miljard op voor een ander. Google DeepMind publiceerde in 2025 Genie 3, een realtime interactieve versie. NVIDIA bracht Cosmos uit, getraind op 20 miljoen uur aan video uit de echte wereld, en haalde in de eerste maand 2 miljoen downloads. En op Reddit wordt er op r/MachineLearning al twee jaar over gediscussieerd. World models zijn op dit moment de meest bediscussieerde architectuurgok in AI, en als de believers gelijk hebben, zijn ze het paradigma dat LLM's vervangt als fundament voor de volgende generatie intelligente systemen.
Een world model is een AI-systeem dat is ontworpen om de dynamiek van de echte wereld te begrijpen (natuurkunde, ruimtelijke verhoudingen, oorzaak en gevolg) door te leren van multimodale data: video, beelden, geluid, sensormetingen en beweging. In plaats van het volgende token in een tekstreeks te voorspellen, voorspelt een world model wat er daarna in de wereld gebeurt, gegeven een huidige toestand en een reeks acties.
De eenvoudigste manier om het te zien: LLM's voorspellen welk woord er volgt. World models voorspellen wat er daarna gebeurt: in een fysieke ruimte, in een simulatie, in een omgeving waarin een agent beslissingen neemt. Die verschuiving van taal voorspellen naar de omgeving voorspellen is de hele gok.
Dezelfde transformer-architectuur als achter GPT en Claude, toegepast op visuele en omgevingsdata. Het model genereert output stap voor stap: elk voorspeld frame hangt af van alles wat ervoor kwam. Dat levert sterk redeneren over oorzaak en gevolg in de tijd op en vormt de basis van modellen als Google's Genie en verschillende systemen voor videogeneratie. De beperking is snelheid: sequentieel genereren is rekenkundig duur voor realtime toepassingen.
Deze beginnen met ruis en verfijnen die stap voor stap tot samenhangende omgevingen: dezelfde aanpak als bij Stable Diffusion en DALL·E, uitgebreid naar 3D en video. Diffusiemodellen leveren een hogere visuele kwaliteit en fotorealistischere output. Het Cosmos-platform van NVIDIA gebruikt deze aanpak. De keerzijde: ze zijn moeilijker realtime interactief te maken, omdat het ontruisen veel passes vraagt.
Dit is de kenmerkende bijdrage van Yann LeCun en de architectuur achter zijn startup AMI Labs. In plaats van de ruwe pixels van de toekomst te voorspellen (verspilling van rekenkracht) of tokens in een tekstreeks, voorspelt JEPA de abstracte latente representatie van de toekomstige toestand. Het model werkt in een interne embeddingruimte in plaats van in pixel- of tokenruimte. Dat is veel efficiënter en volgens LeCun dichter bij hoe biologische intelligentie werkt: mensen spelen bij het plannen geen fotorealistische video van de toekomst af in hun hoofd, maar redeneren over abstracte representaties. LeCun liet zien dat JEPA op één GPU kan draaien, wat de rekendrempel sterk verlaagt ten opzichte van diffusiemodellen.
De threads op r/MachineLearning en r/artificial over dit onderwerp zijn lang en scherp. Het kernargument valt uiteen in twee kampen:
Het argument van LeCun, dat velen op Reddit herhalen, is dat LLM's bij fysieke vragen hallucineren, niet door gebrek aan trainingsdata, maar omdat taaltokens geen verliesvrije representatie van de fysieke werkelijkheid zijn. Vraag een LLM wat er gebeurt als je een doos naar links duwt over een oppervlak met wrijving. Het antwoordt met woorden, maar heeft geen interne simulatie van massa, wrijvingscoëfficiënt of de geometrie van het oppervlak. Het antwoord kan statistisch plausibel en fysiek fout zijn. Onderzoek uit 2024 toonde wiskundig aan dat autoregressieve LLM's niet alle berekenbare functies kunnen leren, inclusief de functies voor fysisch redeneren waarop belichaamde intelligentie rust. Meer parameters lossen dat niet op: het is een structureel probleem, geen schaalprobleem.
'[LLM's] opschalen brengt ons niet bij AGI. De aanpak is fundamenteel beperkt, omdat hij statistische patronen uit tekst leert en geen begrip van de fysieke werkelijkheid.'
— Yann LeCun, oprichter van AMI Labs, voormalig Chief AI Scientist bij Meta
Het tegenargument, dat Dario Amodei van Anthropic en het schaalkamp van OpenAI aanhangen, is dat LLM's met genoeg schaal, multimodale verankering en toolgebruik vanuit een andere hoek naar algemene intelligentie toe bewegen. Amodei voorspelde dat er 'een land vol genieën in een datacenter' uit opgeschaalde LLM's zou voortkomen. De ML-community op Reddit is verdeeld: de pragmatici wijzen op GPT-4o Vision en de beeldanalyse van Claude als bewijs dat LLM's de fysieke werkelijkheid al opnemen via multimodale training. De theoretici werpen tegen dat beelden opnemen iets anders is dan natuurkunde simuleren. Zoals de analyse van Introl het zegt, is het debat 'eerder empirisch dan filosofisch: de uitkomsten bepalen wie wint'.
De meest spraakmakende gok op world models. LeCun verliet Meta eind 2025 om in Parijs Advanced Machine Intelligence Labs (AMI Labs) op te richten. In maart 2026 haalde AMI $1,03 miljard op tegen een waardering van $3,5 miljard, de grootste AI-seedronde van Europa, met steun van NVIDIA, Jeff Bezos, Mark Cuban en Eric Schmidt. De technische basis is JEPA (Joint Embedding Predictive Architecture), waarover LeCun al jaren onderzoek publiceert. Beoogde toepassingen: zorg en robotica, waar de foutmarge minimaal is en op tekst getrainde modellen keer op keer falen bij fysisch redeneren.
World Labs, in 2024 opgericht door Fei-Fei Li en drie hoogleraren van Stanford, haalde in 2024 $230 miljoen op en daarna $1 miljard in een Series B in februari 2026, geleid door Autodesk ($200 miljoen) en gesteund door NVIDIA, AMD en Andreessen Horowitz. Het eerste product, Marble, kwam in november 2025 uit als het eerste commercieel beschikbare world model: het accepteert tekst, foto's, video's, 3D-lay-outs en panorama's als input en levert blijvende, bewerkbare 3D-omgevingen die direct naar Unreal Engine en Unity exporteren. De prijs loopt van gratis tot $95 per maand. Focus: ruimtelijke intelligentie voor games, architectuur, VFX en robotica.
Google DeepMind bracht Genie (2024), Genie 2 (2024) en Genie 3 (augustus 2025) snel na elkaar uit. Genie 3 is een realtime interactief world model dat 3D-omgevingen genereert op 24 fps en 720p, met zelf aangeleerde natuurkunde: geen hardgecodeerde regels, alleen natuurkunde die uit data is afgeleid. Shlomi Fruchter, onderzoeksdirecteur bij DeepMind, noemde het 'het eerste realtime interactieve world model voor algemeen gebruik'. In februari 2026 nam Waymo Genie 3 in gebruik om het Waymo World Model te bouwen voor simulatie van autonoom rijden, dat zeldzame en gevaarlijke verkeerssituaties genereert die met dataverzameling in de echte wereld onmogelijk op schaal vast te leggen zijn.
Cosmos van NVIDIA is een open platform voor het bouwen van physical AI: een reeks generatieve world foundation models, tokenizers en dataverwerkingspipelines voor ontwikkelaars van robotica en autonome voertuigen. Getraind op 20 miljoen uur aan echte video en 9.000 biljoen tokens haalde het in januari 2026 2 miljoen downloads. Het komt in drie niveaus: Nano (edge-deployment), Super (algemeen gebruik) en Ultra (maximale kwaliteit). Met Cosmos positioneert NVIDIA zich niet alleen als chipbedrijf, maar als platformlaag voor de ontwikkeling van physical AI: het world model trainen op NVIDIA-hardware, inferentie draaien op NVIDIA-hardware en uitrollen naar robots en voertuigen met NVIDIA aan boord.
Decart, in 2023 opgericht door dr. Dean Leitersdorf en Moshe Shalev, haalde meer dan $150 miljoen op (waaronder een Series B van $100 miljoen tegen een waardering van $3,1 miljard) bij Amazon AWS, Comcast en NVIDIA. Het product, Oasis, is een 'speelbare, door AI gegenereerde wereld': een realtime interactieve omgeving voor games, simulatie en het trainen van robots. De technische aanpak combineert eigen infrastructuuroptimalisaties om rekenkosten te verlagen met generatieve modellen die ruimtelijke verhoudingen en fysieke getrouwheid bewaren.
Ondanks het vertrek van LeCun blijft Meta via FAIR investeren in onderzoek naar world models. Runway, het AI-videobedrijf, presenteert zijn Gen-4.5-model uitdrukkelijk als world model; het staat momenteel bovenaan het Video Arena-klassement, vóór Google's Veo 3 en OpenAI's Sora 2 Pro. De framing van Runway is veelzeggend: de race om videogeneratie en de race om world models zijn samengekomen. Videogeneratie van hoge kwaliteit is steeds minder te onderscheiden van het simuleren van omgevingen.
Dit is de meest volwassen commerciële toepassing. Waymo, Tesla en Wayve gebruiken allemaal world models om synthetische rijscenario's te genereren (regen, ijzel, fietsers die door rood rijden, voetgangers die van de stoep stappen) die je bij dataverzameling in de echte wereld pas na jaren tegenkomt. Een world model dat is getraind op 20 miljoen uur aan echte rijbeelden kan van elk scenario willekeurig veel varianten maken, waardoor teams voor autonoom rijden een vrijwel onbeperkt trainingscorpus hebben voor zeldzame en gevaarlijke situaties. Het Waymo World Model (gebouwd op Genie 3) is in 2026 het duidelijkste voorbeeld hiervan in productie.
Fysieke robots trainen zonder world models vraagt óf miljoenen proeven in de echte wereld (duur, traag en schadelijk voor de hardware) óf met de hand gecodeerde simulatieomgevingen (broos en beperkt). Met world models kunnen robotteams op schaal fotorealistische magazijnen, interacties met objecten en faalscenario's genereren. Het sim-to-real-probleem, waarbij robots die in simulatie zijn getraind in de echte wereld falen omdat de simulatie te perfect was, wordt direct aangepakt door world models die op echte video zijn getraind en echte fysieke onvolkomenheid hebben geleerd. De CEO van Boston Dynamics heeft AI-ontwikkeling genoemd als kern van hun recente vooruitgang, en NVIDIA Cosmos is specifiek voor deze toepassing ontworpen.
Marble van World Labs en Oasis van Decart zijn al commercieel beschikbaar voor gameontwikkelteams. De toepassing is overtuigend: in plaats van elk asset van elke spelomgeving met de hand te maken, genereert een world model samenhangende, fysiek kloppende 3D-omgevingen uit tekstbeschrijvingen of referentiebeelden. Nog ingrijpender: realtime interactieve world models als Genie 3 wijzen op een toekomst waarin het onderscheid tussen 'game-engine' en 'AI-model' verdwijnt en de hele spelwereld ter plekke wordt gegenereerd als reactie op wat de speler doet.
De langste tijdshorizon, maar mogelijk de grootste waarde. World models die moleculaire interacties kunnen simuleren, zouden de doorlooptijd van geneesmiddelenonderzoek kunnen verkorten. Klimaatmodellen die leren van echte omgevingsdata in plaats van met de hand gecodeerde natuurkundige vergelijkingen, zouden nauwkeurigere voorspellingen kunnen opleveren. Medische trainingssimulatoren op basis van world models zouden chirurgen zeldzame ingrepen kunnen laten oefenen in fotorealistische omgevingen. De focus van AMI Labs op de zorg, een domein waarin hallucineren letterlijk gevaarlijk is, is een bewust signaal over waar LeCun denkt dat world models zich het eerst zullen bewijzen.
Dit is het punt waar de pragmatici op Reddit steeds op wijzen, en terecht. Inferentie met een world model vraagt 8–32 GPU's per verzoek, tegenover 1–8 voor LLM-inferentie. Training vraagt duizenden tot tienduizenden GPU's. Opslag voor trainingsdata op videoschaal wordt gemeten in petabytes: één uur video van goede kwaliteit is ongeveer 100GB. Deze cijfers betekenen dat world models nog geen commodity zijn. Het is frontier-technologie met frontier-infrastructuurkosten, alleen bereikbaar voor goed gefinancierde teams of voor wie speciaal gebouwde platforms als Cosmos gebruikt.
| Dimensie | LLM | World model |
|---|---|---|
| Belangrijkste input | Teksttokens | Video, beelden, sensordata |
| Wat het voorspelt | Volgende token | Volgende toestand van de wereld |
| Fysisch redeneren | Zwak (statistisch) | Sterk (aangeleerd) |
| Inferentie-GPU's (schatting) | 1–8 | 8–32 |
| Beste voor | Taal, redeneren, code | Robotica, AV, simulatie |
| Commerciële volwassenheid | Hoog | Vroeg (2025–2026) |
De verschuiving naar world models is echt en versnelt. Zo kun je erover nadenken als je een product bouwt of het landschap verkent:
Bouw je op fysieke data, gebruik dan de platforms. NVIDIA Cosmos en Marble van World Labs zijn al beschikbaar. Gaat je product over robotica, autonome systemen, industriële simulatie, spelomgevingen of architectuur, dan geven deze platforms je world model-capaciteiten zonder vanaf nul te bouwen. Dezelfde logica die in 2022 gold voor LLM-API's, geldt in 2026 voor world model-platforms: integreer het platform, bouw de applicatie.
Bouw je producten op basis van LLM's, dan zijn world models een aanvulling, geen vervanging. De werkelijkheid op korte termijn is hybride: LLM's doen taal en redeneren, world models doen ruimtelijke en fysieke taken. De interessantste producten van 2026–2027 combineren beide. Zie het LLM als de laag voor planning en communicatie en het world model als de laag voor waarneming en simulatie. Cursor begon vóór de overname door SpaceX precies dit soort integratie te verkennen voor workflows van code naar 3D.
De data-moat verschuift. Voor LLM's is tekst de moat van trainingsdata. Voor world models is dat video en sensordata uit de echte wereld. Bedrijven met camera's in de echte wereld (Tesla, Waymo, magazijnbeheerders, zorgaanbieders) hebben een structureel datavoordeel voor het trainen van world models dat je niet kunt evenaren door het internet te scrapen. Bouw je in een van deze sectoren, dan is de eigen data die je uit gebruikers en sensoren haalt mogelijk waardevoller dan je software zelf.
IdeaToMVP Academy
4-week live cohort for founders. Learn to ship AI agents, scope MVPs, and automate your business — taught by the same team that writes these guides.
