Waymo and the rise of “world models” for driving: what a Genie-style simulator changes

Selvkjørende systemer lever og dør av ett spørsmål:hva skjer videre?

Sensorer forteller et autonomt kjøretøy hvordan verden ser ut akkurat nå – kamerabilder, lidar-punktskyer, radarrefleksjoner, GPS og IMU-målinger. Men sikker kjøring er forventning: å forutsi hvordan fotgjengere kan bevege seg, om en syklist vil kjøre inn i kjørefeltet, hvordan en bil kan kjøre over en kjørefeltlinje, og hva et blokkert kryss kan avsløre.

Det er der ideen om enverdensmodellkommer inn. En verdensmodell er en lært representasjon av «hvordan verden fungerer» som kan rulles fremover i tid: gitt den nåværende scenen og en handling, kan den generere plausible fremtidige scener. Innen robotikk og autonomi er drømmen å ha en modell som kan simulere virkeligheten godt nok til å trene og validere retningslinjer før de i det hele tatt berører offentlige veier.

Rapporterer at Waymo utnytter enÅnden 3–stiltilnærming for å skape en verdensmodell for kjøring er en stor sak – ikke fordi den magisk løser autonomiproblemet, men fordi den signaliserer et skifte i det bransjen anser som flaskehalsen.

Kjøreautonomitet er to problemer: persepsjon og prediksjon

Tidlige samtaler om selvkjøring fokuserte på persepsjon: «Kan bilen se?» Det inkluderer å oppdage objekter, klassifisere dem, estimere deres posisjon og hastighet, og spore dem over tid.

I dag handler grenseområdet i økende grad om prediksjon og planlegging:

Prediksjon: å forutsi fremtidige baner for andre aktører (biler, sykler, fotgjengere).
Planlegging: å velge kjøretøyets egen bane for å være trygg, lovlig og komfortabel.

Feil i oppfatningen er fortsatt viktige, men selv perfekt oppfatning gir deg ikke sikkerhet om hensikten. En fotgjenger ved en fortauskant kan gå ut. En sjåfør kan kjøre på rødt lys. En syklist kan vingle.

En verdensmodell har som mål å kode inn disse usikkerhetene slik at planleggeren kan resonnere rundt dem.

Hva er en «verdensmodell» i maskinlæringstermer?

I maskinlæring er en verdensmodell vanligvis en generativ modell trent på store mengder erfaring. Den kan:

Representerer miljøets latente tilstand.
Forutsi hvordan staten utvikler seg.
Generer observasjoner som er i samsvar med denne utviklingen.

For kjøring er observasjonene multimodale: bilder, lidar, kart og semantiske etiketter.

Kjerneverdien er at når du først er trent, kan dueksempelfuturesog stresstestbeslutninger. I stedet for å spørre «hva er den ene forutsagte veien», spør du «hva er de plausible veiene, og hvilke er farlige?»

Hvorfor simulering er sentralt (og hvorfor det er så vanskelig)

Waymo og andre er allerede i stor grad avhengige av simulering. Problemet er kvaliteten på dataene.

Tradisjonelle simulatorer er bygget opp av:

Håndforfattet fysikk og kjøretøydynamikk.
Sceneressurser (veier, bygninger, trafikklys).
Manusskrevne «skuespillere» som følger regler.

Disse er flotte for mange tester, men virkelighetens lange hale er brutal: merkelig fotgjengeratferd, uvanlig belysning, veiarbeidssoner, sjelden skilting, lokale kjørekulturer, tilfeller av værforhold, sensorfeil og de millioner av subtile interaksjonene som aldri dukker opp i et ryddig regelsett.

En modell med lært verden er attraktiv fordi den kan fange opp rotete fordelinger direkte fra data. Hvis du har nok ekte kjørelogger, kan du trene en modell til å generere scener som «føles» som veien – inkludert det rare.

Men «føles ekte» er ikke nok for sikkerhet. Kjøring er motstridende: selv om modellen din bommer på et lite sett med sjeldne, men dødelige scenarier, kan systemet fortsatt svikte.

Hva en Genie-stil tilnærming antyder

Et system i åndsstil (som rapportert) innebærer en modell som kan generere plausible fremtidige rammer betinget av handlinger og kontekst.

Hvis Waymo kan generere «neste bilder» med høy kvalitet for komplekse byscener, kan det potensielt:

Skapekontrafaktiske«Hva om vi hadde sakket farten tidligere?» «Hva om vi tok venstre gap?»
Økedekning av sjeldne hendelseroversampling av uvanlige situasjoner for trening.
Forbedrelukket sløyfeopplæringtrene en policy i den simulerte verdenen, ikke bare på loggede data.

Dette er et skritt utover å «spille av innspilte logger». Det er som å gå fra å se kjørevideoer til å ha en sandkasse der selve sandkassen oppfører seg som en by.

Sikkerhetslåsen: modellfeil forsterkes

Det er en grunn til at sikkerhetsteam er forsiktige med lærte simulatorer: små feil forverres over tid.

Hvis en verdensmodell tar litt feil om:

Hvordan fotgjengere akselererer,
Hvordan biler reagerer på bremsing,
Hvordan sensorer oppfører seg under gjenskinn,

så kan en simulert utrulling avvike fra virkeligheten etter noen få sekunder. Det kan produsere treningssignaler som optimaliserer for simulatorens særegenheter snarere enn den virkelige verden – et problem som noen ganger kallessim-til-reell gap.

Moderne tilnærminger reduserer dette med:

Kortsiktige utrullinger kombinert med ekte logger.
Domenerandomisering (legger til støy og variasjon).
Validering mot antatte virkelige scenarier.
Sikkerhetsbegrensninger som ikke utelukkende er avhengige av lærte forutsigelser.

En verdensmodell kan være utrolig nyttig selv om den ikke er «perfekt virkelighet», så lenge du vet hvor den er pålitelig og hvor den ikke er det.

Verdensmodeller og kart: strukturen under pikslene

En selvkjørende bil reagerer ikke bare på bilder. Den er også avhengig av struktur:

HD-kart (filgeometri, trafikkontrollenheter).
Lokalisering (hvor er jeg på kartet?).
SLAM-lignende komponenter i noen systemer (spesielt utenfor kartlagte regioner).

En sterk verdensmodell må integrere den strukturen. Ellers blir den en fancy videogenerator som ikke kan opprettholde konsistent geometri.

Dette er grunnen til at autonomieverdenmodeller ofte blandes:

Lærte persepsjonsfunksjoner,
Eksplisitte geometriske begrensninger,
Kartpriorer,
Agentbaserte representasjoner (andre trafikanter som enheter med intensjoner).

De beste systemene er hybride: de bruker læring der dataene er rike og regler der begrensningene er strenge.

Hvilke endringer for produktutvikling

Den mest praktiske effekten av en god verdensmodell eringeniørhastighet.

I dag krever forbedring av autonome kjøresystemer ofte:

Å finne virkelige feil (frakoblinger, nestenulykker).
Legge til data og etiketter.
Tuningprediksjon/planlegging.
Revalidering på tvers av store scenariosuiter.

Hvis en verdensmodell kan generere realistiske variasjoner av feilen, kan ingeniører iterere raskere. Det kan også bidra til å svare på spørsmål som:

«Er denne oppførselen trygg på tvers av en distribusjon, eller var det flaks i én logg?»
«Hvor følsomt er systemet for fotgjengernes nøling?»
«Hva er verst tenkelige utfall hvis en annen sjåfør oppfører seg aggressivt?»

Raskere iterasjon er ikke en garanti for sikkerhet – men det kan forbedre tilbakekoblingssløyfen.

De store åpne spørsmålene

Selv om verdensmodellen er utmerket, finnes det harde grenser:

AnsvarlighetKan du forklare hvorfor systemet forutså en gitt fremtid?
ValideringHvordan sertifiserer man en lært simulator som representativ?
KanttilfellerHvordan sikrer dere at sjeldne, men kritiske scenarier dekkes?
Robusthet i politikkenOppfører en policy som er trent i modellen seg trygt i virkeligheten?

Det er her regulatorer og sikkerhetsberegninger kommer inn i bildet. Autonome kjøretøy vil trenge argumenter som knytter opplærings- og testmetoder til reell risiko.

Konklusjon

En høykvalitets verdensmodell er et kraftig verktøy for autonomi fordi den gjør kjøring om fra å «lære bare av det som skjedde» til å «lære av det som kunne skje». Hvis Waymo kan bruke et Genie 3-lignende system til å generere realistiske fremtidige veiscener, kan det akselerere opplæring, scenariotesting og sikkerhetsevaluering – men den vanskelige delen er fortsatt å bevise at den simulerte verdenen er trofast nok til at forbedringene overføres til virkelige gater.

Kilder

Document Title
Waymo and the rise of “world models” for driving: what a Genie-style simulator changes	Waymo og fremveksten av «verdensmodeller» for kjøring: hva en Genie-lignende simulator endrer

Waymo is reportedly using a Genie 3-style system to build a world model for autonomous driving. Here’s what world models are, why simulation matters, and the remaining safety gaps.	Waymo bruker angivelig et system i Genie 3-stil for å bygge en verdensmodell for autonom kjøring. Her er hva verdensmodeller er, hvorfor simulering er viktig, og de gjenværende sikkerhetshullene.
Title Attribute
oEmbed (JSON)
oEmbed (XML)
JSON
View all posts by Abdul Jabbar	Vis alle innlegg av Abdul Jabbar
Sixteen AI agents built a C compiler together — why that matters (and what it doesn't mean yet)	Seksten AI-agenter bygde en C-kompilator sammen – hvorfor det er viktig (og hva det ikke betyr ennå)
Page Content
Waymo and the rise of “world models” for driving: what a Genie-style simulator changes	Waymo og fremveksten av «verdensmodeller» for kjøring: hva en Genie-lignende simulator endrer
Blog
/
General
/ By
Abdul Jabbar
Self-driving systems live and die by one question:	Selvkjørende systemer lever og dør av ett spørsmål:
what happens next?
Sensors tell an autonomous vehicle what the world looks like right now — camera frames, lidar point clouds, radar reflections, GPS and IMU measurements. But safe driving is anticipation: predicting how pedestrians might move, whether a cyclist will merge, how a car might drift over a lane line, and what an occluded intersection might reveal.	Sensorer forteller et autonomt kjøretøy hvordan verden ser ut akkurat nå – kamerabilder, lidar-punktskyer, radarrefleksjoner, GPS og IMU-målinger. Men sikker kjøring er forventning: å forutsi hvordan fotgjengere kan bevege seg, om en syklist vil kjøre inn i kjørefeltet, hvordan en bil kan kjøre over en kjørefeltlinje, og hva et blokkert kryss kan avsløre.
That’s where the idea of a
world model
comes in. A world model is a learned representation of “how the world works” that can be rolled forward in time: given the current scene and an action, it can generate plausible future scenes. In robotics and autonomy, the dream is to have a model that can simulate reality well enough to train and validate policies before they ever touch public roads.	kommer inn. En verdensmodell er en lært representasjon av «hvordan verden fungerer» som kan rulles fremover i tid: gitt den nåværende scenen og en handling, kan den generere plausible fremtidige scener. Innen robotikk og autonomi er drømmen å ha en modell som kan simulere virkeligheten godt nok til å trene og validere retningslinjer før de i det hele tatt berører offentlige veier.
Reports that Waymo is leveraging a	Rapporterer at Waymo utnytter en
Genie 3
–style approach to create a world model for driving are a big deal — not because it magically solves autonomy, but because it signals a shift in what the industry thinks is the bottleneck.	–stiltilnærming for å skape en verdensmodell for kjøring er en stor sak – ikke fordi den magisk løser autonomiproblemet, men fordi den signaliserer et skifte i det bransjen anser som flaskehalsen.
Driving autonomy is two problems: perception and prediction	Kjøreautonomitet er to problemer: persepsjon og prediksjon
Early conversations about self-driving focused on perception: “Can the car see?” That includes detecting objects, classifying them, estimating their position and velocity, and tracking them over time.	Tidlige samtaler om selvkjøring fokuserte på persepsjon: «Kan bilen se?» Det inkluderer å oppdage objekter, klassifisere dem, estimere deres posisjon og hastighet, og spore dem over tid.
Today, the frontier is increasingly prediction and planning:	I dag handler grenseområdet i økende grad om prediksjon og planlegging:
Prediction
: forecasting the future trajectories of other agents (cars, bikes, pedestrians).	: å forutsi fremtidige baner for andre aktører (biler, sykler, fotgjengere).
Planning
: choosing the vehicle’s own trajectory to be safe, legal, and comfortable.	: å velge kjøretøyets egen bane for å være trygg, lovlig og komfortabel.
Perception errors are still important, but even perfect perception doesn’t give you certainty about intent. A pedestrian at a curb might step out. A driver might run a red light. A cyclist might wobble.	Feil i oppfatningen er fortsatt viktige, men selv perfekt oppfatning gir deg ikke sikkerhet om hensikten. En fotgjenger ved en fortauskant kan gå ut. En sjåfør kan kjøre på rødt lys. En syklist kan vingle.
A world model aims to encode those uncertainties so the planner can reason about them.	En verdensmodell har som mål å kode inn disse usikkerhetene slik at planleggeren kan resonnere rundt dem.
What is a “world model” in ML terms?	Hva er en «verdensmodell» i maskinlæringstermer?
In machine learning, a world model is typically a generative model trained on large volumes of experience. It can:	I maskinlæring er en verdensmodell vanligvis en generativ modell trent på store mengder erfaring. Den kan:
Represent the latent state of the environment.	Representerer miljøets latente tilstand.
Predict how the state evolves.	Forutsi hvordan staten utvikler seg.
Generate observations consistent with that evolution.	Generer observasjoner som er i samsvar med denne utviklingen.
For driving, the observations are multi-modal: images, lidar, maps, and semantic labels.	For kjøring er observasjonene multimodale: bilder, lidar, kart og semantiske etiketter.
The core value is that, once trained, you can	Kjerneverdien er at når du først er trent, kan du
sample futures
and stress-test decisions. Instead of asking “what is the one predicted path,” you ask “what are the plausible paths, and which ones are dangerous?”	og stresstestbeslutninger. I stedet for å spørre «hva er den ene forutsagte veien», spør du «hva er de plausible veiene, og hvilke er farlige?»
Why simulation is central (and why it’s so hard)	Hvorfor simulering er sentralt (og hvorfor det er så vanskelig)
Waymo and others already rely heavily on simulation. The problem is fidelity.	Waymo og andre er allerede i stor grad avhengige av simulering. Problemet er kvaliteten på dataene.
Traditional simulators are built from:	Tradisjonelle simulatorer er bygget opp av:
Hand-authored physics and vehicle dynamics.	Håndforfattet fysikk og kjøretøydynamikk.
Scene assets (roads, buildings, traffic lights).	Sceneressurser (veier, bygninger, trafikklys).
Scripted “actors” that follow rules.	Manusskrevne «skuespillere» som følger regler.
These are great for many tests, but the long tail of reality is brutal: odd pedestrian behavior, unusual lighting, construction zones, rare signage, local driving cultures, weather edge cases, sensor glitches, and the million subtle interactions that never show up in a tidy rule set.	Disse er flotte for mange tester, men virkelighetens lange hale er brutal: merkelig fotgjengeratferd, uvanlig belysning, veiarbeidssoner, sjelden skilting, lokale kjørekulturer, tilfeller av værforhold, sensorfeil og de millioner av subtile interaksjonene som aldri dukker opp i et ryddig regelsett.
A learned world model is attractive because it can capture messy distributions directly from data. If you have enough real driving logs, you can train a model to generate scenes that “feel” like the road — including the weirdness.	En modell med lært verden er attraktiv fordi den kan fange opp rotete fordelinger direkte fra data. Hvis du har nok ekte kjørelogger, kan du trene en modell til å generere scener som «føles» som veien – inkludert det rare.
But “feels real” is not enough for safety. Driving is adversarial: if your model misses even a small set of rare but deadly scenarios, the system can still fail.	Men «føles ekte» er ikke nok for sikkerhet. Kjøring er motstridende: selv om modellen din bommer på et lite sett med sjeldne, men dødelige scenarier, kan systemet fortsatt svikte.
What a Genie-style approach suggests	Hva en Genie-stil tilnærming antyder
A Genie-style system (as reported) implies a model that can generate plausible future frames conditioned on actions and context.	Et system i åndsstil (som rapportert) innebærer en modell som kan generere plausible fremtidige rammer betinget av handlinger og kontekst.
If Waymo can generate high-fidelity “next frames” for complex urban scenes, it can potentially:	Hvis Waymo kan generere «neste bilder» med høy kvalitet for komplekse byscener, kan det potensielt:
Create
counterfactuals
: “What if we had slowed earlier?” “What if we took the left gap?”	«Hva om vi hadde sakket farten tidligere?» «Hva om vi tok venstre gap?»
Increase
rare-event coverage
: oversample uncommon situations for training.	oversampling av uvanlige situasjoner for trening.
Improve
closed-loop training
: train a policy inside the simulated world, not just on logged data.	trene en policy i den simulerte verdenen, ikke bare på loggede data.
This is a step beyond “replaying recorded logs.” It’s like moving from watching driving videos to having a sandbox where the sandbox itself behaves like a city.	Dette er et skritt utover å «spille av innspilte logger». Det er som å gå fra å se kjørevideoer til å ha en sandkasse der selve sandkassen oppfører seg som en by.
The safety catch: model errors compound	Sikkerhetslåsen: modellfeil forsterkes
There’s a reason safety teams are cautious about learned simulators: small errors compound over time.	Det er en grunn til at sikkerhetsteam er forsiktige med lærte simulatorer: små feil forverres over tid.
If a world model is slightly wrong about:	Hvis en verdensmodell tar litt feil om:
How pedestrians accelerate,	Hvordan fotgjengere akselererer,
How cars respond to braking,	Hvordan biler reagerer på bremsing,
How sensors behave under glare,	Hvordan sensorer oppfører seg under gjenskinn,
then a simulated rollout can drift away from reality after a few seconds. That can produce training signals that optimize for the simulator’s quirks rather than the real world — a problem sometimes called	så kan en simulert utrulling avvike fra virkeligheten etter noen få sekunder. Det kan produsere treningssignaler som optimaliserer for simulatorens særegenheter snarere enn den virkelige verden – et problem som noen ganger kalles
sim-to-real gap
.
Modern approaches mitigate this with:	Moderne tilnærminger reduserer dette med:
Short-horizon rollouts combined with real logs.	Kortsiktige utrullinger kombinert med ekte logger.
Domain randomization (adding noise and variation).	Domenerandomisering (legger til støy og variasjon).
Validation against held-out real scenarios.	Validering mot antatte virkelige scenarier.
Safety constraints that don’t rely purely on learned predictions.	Sikkerhetsbegrensninger som ikke utelukkende er avhengige av lærte forutsigelser.
A world model can be incredibly useful even if it’s not “perfect reality,” as long as you know where it’s reliable and where it’s not.	En verdensmodell kan være utrolig nyttig selv om den ikke er «perfekt virkelighet», så lenge du vet hvor den er pålitelig og hvor den ikke er det.
World models and maps: the structure under the pixels	Verdensmodeller og kart: strukturen under pikslene
A self-driving car isn’t only reacting to images. It also relies on structure:	En selvkjørende bil reagerer ikke bare på bilder. Den er også avhengig av struktur:
HD maps (lane geometry, traffic control devices).	HD-kart (filgeometri, trafikkontrollenheter).
Localization (where am I on the map?).	Lokalisering (hvor er jeg på kartet?).
SLAM-like components in some systems (especially outside mapped regions).	SLAM-lignende komponenter i noen systemer (spesielt utenfor kartlagte regioner).
A strong world model has to integrate that structure. Otherwise it becomes a fancy video generator that can’t maintain consistent geometry.	En sterk verdensmodell må integrere den strukturen. Ellers blir den en fancy videogenerator som ikke kan opprettholde konsistent geometri.
This is why autonomy world models often blend:	Dette er grunnen til at autonomieverdenmodeller ofte blandes:
Learned perception features,
Explicit geometry constraints,	Eksplisitte geometriske begrensninger,
Map priors,
Agent-based representations (other road users as entities with intentions).	Agentbaserte representasjoner (andre trafikanter som enheter med intensjoner).
The best systems are hybrid: they use learning where data is rich and rules where constraints are strict.	De beste systemene er hybride: de bruker læring der dataene er rike og regler der begrensningene er strenge.
What changes for product development	Hvilke endringer for produktutvikling
The most practical impact of a good world model is	Den mest praktiske effekten av en god verdensmodell er
engineering velocity
Today, improving an autonomous driving stack often requires:	I dag krever forbedring av autonome kjøresystemer ofte:
Finding real-world failures (disengagements, near misses).	Å finne virkelige feil (frakoblinger, nestenulykker).
Adding data and labels.
Tuning prediction/planning.
Revalidating across huge scenario suites.	Revalidering på tvers av store scenariosuiter.
If a world model can generate realistic variations of the failure, engineers can iterate faster. It can also help answer questions like:	Hvis en verdensmodell kan generere realistiske variasjoner av feilen, kan ingeniører iterere raskere. Det kan også bidra til å svare på spørsmål som:
“Is this behavior safe across a distribution, or was it lucky in one log?”	«Er denne oppførselen trygg på tvers av en distribusjon, eller var det flaks i én logg?»
“How sensitive is the system to pedestrian hesitation?”	«Hvor følsomt er systemet for fotgjengernes nøling?»
“What is the worst-case outcome if another driver behaves aggressively?”	«Hva er verst tenkelige utfall hvis en annen sjåfør oppfører seg aggressivt?»
Faster iteration is not a guarantee of safety — but it can improve the feedback loop.	Raskere iterasjon er ikke en garanti for sikkerhet – men det kan forbedre tilbakekoblingssløyfen.
The big open questions
Even if the world model is excellent, there are hard limits:	Selv om verdensmodellen er utmerket, finnes det harde grenser:
Accountability
: Can you explain why the system predicted a given future?	Kan du forklare hvorfor systemet forutså en gitt fremtid?
Validation
: How do you certify a learned simulator as representative?	Hvordan sertifiserer man en lært simulator som representativ?
Edge cases
: How do you ensure rare but critical scenarios are covered?	Hvordan sikrer dere at sjeldne, men kritiske scenarier dekkes?
Policy robustness
: Does a policy trained in the model behave safely in reality?	Oppfører en policy som er trent i modellen seg trygt i virkeligheten?
This is where regulators and safety cases come in. Autonomous vehicles will need arguments that connect training and testing methods to real-world risk.	Det er her regulatorer og sikkerhetsberegninger kommer inn i bildet. Autonome kjøretøy vil trenge argumenter som knytter opplærings- og testmetoder til reell risiko.
Bottom line
A high-fidelity world model is a powerful tool for autonomy because it turns driving from “learn only from what happened” into “learn from what could happen.” If Waymo can use a Genie 3–style system to generate realistic future road scenes, it could accelerate training, scenario testing, and safety evaluation — but the hard part remains proving that the simulated world is faithful enough that improvements carry over to real streets.	En høykvalitets verdensmodell er et kraftig verktøy for autonomi fordi den gjør kjøring om fra å «lære bare av det som skjedde» til å «lære av det som kunne skje». Hvis Waymo kan bruke et Genie 3-lignende system til å generere realistiske fremtidige veiscener, kan det akselerere opplæring, scenariotesting og sikkerhetsevaluering – men den vanskelige delen er fortsatt å bevise at den simulerte verdenen er trofast nok til at forbedringene overføres til virkelige gater.
Sources
https://arstechnica.com/google/2026/02/waymo-leverages-genie-3-to-create-a-world-model-for-self-driving-cars/	https://arstechnica.com/google/2026/02/waymo-leverages-genie-3-to-create-a-world-model-for-self-driving-cars/
https://waymo.com/safety/
https://en.wikipedia.org/wiki/World_model	https://en.wikipedia.org/wiki/Verdensmodell
https://en.wikipedia.org/wiki/Autonomous_car	https://en.wikipedia.org/wiki/Autonom_bil
https://en.wikipedia.org/wiki/Simultaneous_localization_and_mapping	https://en.wikipedia.org/wiki/Samtidig_lokalisering_og_kartlegging
←
Previous Post
→ Sixteen AI agents built a C compiler together — why that matters (and what it doesn’t mean yet)	→ Seksten AI-agenter bygde en C-kompilator sammen – hvorfor det er viktig (og hva det ikke betyr ennå)
Copyright © 2026 Rill.blog
oEmbed (JSON)
oEmbed (XML)
JSON
View all posts by Abdul Jabbar	Vis alle innlegg av Abdul Jabbar
Sixteen AI agents built a C compiler together — why that matters (and what it doesn't mean yet)	Seksten AI-agenter bygde en C-kompilator sammen – hvorfor det er viktig (og hva det ikke betyr ennå)
Waymo is reportedly using a Genie 3-style system to build a world model for autonomous driving. Here’s what world models are, why simulation matters, and the remaining safety gaps.	Waymo bruker angivelig et system i Genie 3-stil for å bygge en verdensmodell for autonom kjøring. Her er hva verdensmodeller er, hvorfor simulering er viktig, og de gjenværende sikkerhetshullene.

Document Title

Waymo and the rise of “world models” for driving: what a Genie-style simulator changes

Waymo is reportedly using a Genie 3-style system to build a world model for autonomous driving. Here’s what world models are, why simulation matters, and the remaining safety gaps.

Title Attribute

oEmbed (JSON)

oEmbed (XML)

JSON

View all posts by Abdul Jabbar

Sixteen AI agents built a C compiler together — why that matters (and what it doesn't mean yet)

Page Content

Waymo and the rise of “world models” for driving: what a Genie-style simulator changes

Blog

General

/ By

Abdul Jabbar

Self-driving systems live and die by one question:

what happens next?

Sensors tell an autonomous vehicle what the world looks like right now — camera frames, lidar point clouds, radar reflections, GPS and IMU measurements. But safe driving is anticipation: predicting how pedestrians might move, whether a cyclist will merge, how a car might drift over a lane line, and what an occluded intersection might reveal.

That’s where the idea of a

world model

comes in. A world model is a learned representation of “how the world works” that can be rolled forward in time: given the current scene and an action, it can generate plausible future scenes. In robotics and autonomy, the dream is to have a model that can simulate reality well enough to train and validate policies before they ever touch public roads.

Reports that Waymo is leveraging a

Genie 3

–style approach to create a world model for driving are a big deal — not because it magically solves autonomy, but because it signals a shift in what the industry thinks is the bottleneck.

Driving autonomy is two problems: perception and prediction

Early conversations about self-driving focused on perception: “Can the car see?” That includes detecting objects, classifying them, estimating their position and velocity, and tracking them over time.

Today, the frontier is increasingly prediction and planning:

Prediction

: forecasting the future trajectories of other agents (cars, bikes, pedestrians).

Planning

: choosing the vehicle’s own trajectory to be safe, legal, and comfortable.

Perception errors are still important, but even perfect perception doesn’t give you certainty about intent. A pedestrian at a curb might step out. A driver might run a red light. A cyclist might wobble.

A world model aims to encode those uncertainties so the planner can reason about them.

What is a “world model” in ML terms?

In machine learning, a world model is typically a generative model trained on large volumes of experience. It can:

Represent the latent state of the environment.

Predict how the state evolves.

Generate observations consistent with that evolution.

For driving, the observations are multi-modal: images, lidar, maps, and semantic labels.

The core value is that, once trained, you can

sample futures

and stress-test decisions. Instead of asking “what is the one predicted path,” you ask “what are the plausible paths, and which ones are dangerous?”

Why simulation is central (and why it’s so hard)

Waymo and others already rely heavily on simulation. The problem is fidelity.

Traditional simulators are built from:

Hand-authored physics and vehicle dynamics.

Scene assets (roads, buildings, traffic lights).

Scripted “actors” that follow rules.

These are great for many tests, but the long tail of reality is brutal: odd pedestrian behavior, unusual lighting, construction zones, rare signage, local driving cultures, weather edge cases, sensor glitches, and the million subtle interactions that never show up in a tidy rule set.

A learned world model is attractive because it can capture messy distributions directly from data. If you have enough real driving logs, you can train a model to generate scenes that “feel” like the road — including the weirdness.

But “feels real” is not enough for safety. Driving is adversarial: if your model misses even a small set of rare but deadly scenarios, the system can still fail.

What a Genie-style approach suggests

A Genie-style system (as reported) implies a model that can generate plausible future frames conditioned on actions and context.

If Waymo can generate high-fidelity “next frames” for complex urban scenes, it can potentially:

Create

counterfactuals

: “What if we had slowed earlier?” “What if we took the left gap?”

Increase

rare-event coverage

: oversample uncommon situations for training.

Improve

closed-loop training

: train a policy inside the simulated world, not just on logged data.

This is a step beyond “replaying recorded logs.” It’s like moving from watching driving videos to having a sandbox where the sandbox itself behaves like a city.

The safety catch: model errors compound

There’s a reason safety teams are cautious about learned simulators: small errors compound over time.

If a world model is slightly wrong about:

How pedestrians accelerate,

How cars respond to braking,

How sensors behave under glare,

then a simulated rollout can drift away from reality after a few seconds. That can produce training signals that optimize for the simulator’s quirks rather than the real world — a problem sometimes called

sim-to-real gap

Modern approaches mitigate this with:

Short-horizon rollouts combined with real logs.

Domain randomization (adding noise and variation).

Validation against held-out real scenarios.

Safety constraints that don’t rely purely on learned predictions.

A world model can be incredibly useful even if it’s not “perfect reality,” as long as you know where it’s reliable and where it’s not.

World models and maps: the structure under the pixels

A self-driving car isn’t only reacting to images. It also relies on structure:

HD maps (lane geometry, traffic control devices).

Localization (where am I on the map?).

SLAM-like components in some systems (especially outside mapped regions).

A strong world model has to integrate that structure. Otherwise it becomes a fancy video generator that can’t maintain consistent geometry.

This is why autonomy world models often blend:

Learned perception features,

Explicit geometry constraints,

Map priors,

Agent-based representations (other road users as entities with intentions).

The best systems are hybrid: they use learning where data is rich and rules where constraints are strict.

What changes for product development

The most practical impact of a good world model is

engineering velocity

Today, improving an autonomous driving stack often requires:

Finding real-world failures (disengagements, near misses).

Adding data and labels.

Tuning prediction/planning.

Revalidating across huge scenario suites.

If a world model can generate realistic variations of the failure, engineers can iterate faster. It can also help answer questions like:

“Is this behavior safe across a distribution, or was it lucky in one log?”

“How sensitive is the system to pedestrian hesitation?”

“What is the worst-case outcome if another driver behaves aggressively?”

Faster iteration is not a guarantee of safety — but it can improve the feedback loop.

The big open questions

Even if the world model is excellent, there are hard limits:

Accountability

: Can you explain why the system predicted a given future?

Validation

: How do you certify a learned simulator as representative?

Edge cases

: How do you ensure rare but critical scenarios are covered?

Policy robustness

: Does a policy trained in the model behave safely in reality?

This is where regulators and safety cases come in. Autonomous vehicles will need arguments that connect training and testing methods to real-world risk.

Bottom line

A high-fidelity world model is a powerful tool for autonomy because it turns driving from “learn only from what happened” into “learn from what could happen.” If Waymo can use a Genie 3–style system to generate realistic future road scenes, it could accelerate training, scenario testing, and safety evaluation — but the hard part remains proving that the simulated world is faithful enough that improvements carry over to real streets.

Sources

https://arstechnica.com/google/2026/02/waymo-leverages-genie-3-to-create-a-world-model-for-self-driving-cars/

https://waymo.com/safety/

https://en.wikipedia.org/wiki/World_model

https://en.wikipedia.org/wiki/Autonomous_car

https://en.wikipedia.org/wiki/Simultaneous_localization_and_mapping

←

→ Sixteen AI agents built a C compiler together — why that matters (and what it doesn’t mean yet)

oEmbed (JSON)

oEmbed (XML)

JSON

View all posts by Abdul Jabbar

Sixteen AI agents built a C compiler together — why that matters (and what it doesn't mean yet)

Waymo is reportedly using a Genie 3-style system to build a world model for autonomous driving. Here’s what world models are, why simulation matters, and the remaining safety gaps.

Document Title
Page not found - Rill.blog	Siden ble ikke funnet - Rill.blog
Image Alt
Rill.blog
Title Attribute
Rill.blog » Feed
RSD
Skip to content
Placeholder Attribute
Search...
Email address
Page Content
Page not found - Rill.blog	Siden ble ikke funnet - Rill.blog
Skip to content
Home
Read Now
Urdu Novels
Mukhtasar Kahanian
Urdu Columns
Main Menu
This page doesn't seem to exist.	Denne siden ser ikke ut til å eksistere.
It looks like the link pointing here was faulty. Maybe try searching?	Det ser ut som om lenken som pekte hit var feil. Kanskje du kan prøve å søke?
Search for:
Search
Get all the latest news and info sent to your inbox.	Få alle de siste nyhetene og informasjonen sendt til innboksen din.
Please enable JavaScript in your browser to complete this form.	Vennligst aktiver JavaScript i nettleseren din for å fullføre dette skjemaet.
Email
*
Subscribe
Categories
Copyright © 2025 Rill.blog
English
العربية
Čeština
Dansk
Nederlands
Eesti
Suomi
Français
Deutsch
Ελληνικά
Magyar
Bahasa Indonesia
Italiano
日本語
한국어
Latviešu valoda
Lietuvių kalba
Norsk bokmål
Polski
Português
Română
Русский
Slovenčina
Slovenščina
Español
Svenska
ไทย
Türkçe
Українська
Tiếng Việt
Notifications
Rill.blog
Rill.blog » Feed
RSD
Search...
Email address

Document Title

Page not found - Rill.blog

Image Alt

Rill.blog

Title Attribute

Rill.blog » Feed

RSD

Placeholder Attribute

Search...

Email address

Page Content

Page not found - Rill.blog

Home

Read Now

Urdu Novels

Mukhtasar Kahanian

Urdu Columns

Main Menu

This page doesn't seem to exist.

It looks like the link pointing here was faulty. Maybe try searching?

Search for:

Get all the latest news and info sent to your inbox.

Please enable JavaScript in your browser to complete this form.

Kjøreautonomitet er to problemer: persepsjon og prediksjon

Hva er en «verdensmodell» i maskinlæringstermer?

Hvorfor simulering er sentralt (og hvorfor det er så vanskelig)

Hva en Genie-stil tilnærming antyder

Sikkerhetslåsen: modellfeil forsterkes

Verdensmodeller og kart: strukturen under pikslene

Hvilke endringer for produktutvikling

De store åpne spørsmålene

Konklusjon

Kilder

Få alle de siste nyhetene og informasjonen sendt til innboksen din.