„Waymo“ ir „pasaulio modelių“ vairavimui iškilimas: ką keičia „Genie“ stiliaus simuliatorius

Savaeigės sistemos gyvuoja ir miršta dėl vieno klausimo:kas nutiks toliau?

Jutikliai autonominei transporto priemonei pasako, kaip pasaulis atrodo dabar – kamerų kadrai, lidaro taškų debesys, radaro atspindžiai, GPS ir IMU matavimai. Tačiau saugus vairavimas yra numatymas: numatymas, kaip pėstieji gali judėti, ar dviratininkas gali įsiterpti į eismo juostos liniją, kaip automobilis gali nukrypti nuo eismo juostos ribos ir ką gali atskleisti uždaryta sankryža.

Štai iš kur kilo idėja apiepasaulio modelisĮsijungia. Pasaulio modelis yra išmoktas „kaip veikia pasaulis“ vaizdavimas, kurį galima perkelti laike į priekį: atsižvelgiant į dabartinę situaciją ir veiksmą, galima generuoti tikėtinas ateities situacijas. Robotų ir autonomijos srityje svajonė yra turėti modelį, kuris galėtų pakankamai gerai imituoti realybę, kad būtų galima apmokyti ir patvirtinti politiką dar prieš jai pasiekiant viešuosius kelius.

Pranešama, kad „Waymo“ naudojasiDžinas 3– stiliaus požiūris kuriant vairavimo pasaulio modelį yra labai svarbus – ne todėl, kad jis stebuklingai išsprendžia autonomijos problemą, bet todėl, kad tai signalizuoja apie tai, ką pramonė laiko kliūtimi.

Vairavimo autonomija yra dvi problemos: suvokimas ir numatymas

Ankstyvosiose diskusijose apie savaeigius automobilius daugiausia dėmesio buvo skiriama suvokimui: „Ar automobilis gali matyti?“ Tai apima objektų aptikimą, jų klasifikavimą, jų padėties ir greičio įvertinimą bei stebėjimą laikui bėgant.

Šiandien pasienyje vis dažniau prognozuojama ir planuojama:

Prognozė: kitų veiksnių (automobilių, dviračių, pėsčiųjų) būsimų trajektorijų prognozavimas.
Planavimas: transporto priemonės trajektorijos pasirinkimas taip, kad ji būtų saugi, teisėta ir patogi.

Suvokimo klaidos vis dar svarbios, tačiau net ir tobulas suvokimas nesuteikia tikrumo apie ketinimus. Pėsčiasis prie šaligatvio gali išlipti iš kelio. Vairuotojas gali pravažiuoti degant raudonam šviesoforo signalui. Dviratininkas gali svirduliuoti.

Pasaulio modelis siekia užkoduoti tuos neapibrėžtumus, kad planuotojas galėtų juos apmąstyti.

Kas yra „pasaulio modelis“ mašininio mokymosi terminais?

Mašininio mokymosi srityje pasaulio modelis paprastai yra generatyvinis modelis, apmokytas naudojant didelius patirties kiekius. Jis gali:

Atspindi latentinę aplinkos būseną.
Numatykite, kaip vystysis valstybė.
Generuokite stebėjimus, atitinkančius tą evoliuciją.

Vairuojant stebėjimai yra daugiamodaliniai: vaizdai, lidaras, žemėlapiai ir semantinės etiketės.

Pagrindinė vertybė yra ta, kad kartą apmokytas galitepavyzdinių ateities sandoriųir sprendimus dėl testavimo nepalankiausiomis sąlygomis. Užuot klausę „koks yra vienas numatomas kelias“, jūs klausiate „kokie yra tikėtini keliai, o kurie – pavojingi?“.

Kodėl modeliavimas yra esminis (ir kodėl jis toks sunkus)

„Waymo“ ir kiti jau labai remiasi modeliavimu. Problema yra tikslumas.

Tradiciniai simuliatoriai yra sukurti iš:

Ranka parašyta fizika ir transporto priemonių dinamika.
Scenos ištekliai (keliai, pastatai, šviesoforai).
Pagal scenarijų sukurti „aktoriai“, kurie laikosi taisyklių.

Jie puikiai tinka daugeliui testų, tačiau ilgoji realybės uodega yra žiauri: keistas pėsčiųjų elgesys, neįprastas apšvietimas, statybų zonos, reti ženklai, vietinė vairavimo kultūra, oro sąlygų neatitikimai, jutiklių trikdžiai ir milijonas subtilių sąveikų, kurios niekada neatsispindi tvarkingame taisyklių rinkinyje.

Išmokto pasaulio modelis yra patrauklus, nes jis gali tiesiogiai iš duomenų užfiksuoti netvarkingus pasiskirstymus. Jei turite pakankamai realių vairavimo žurnalų, galite apmokyti modelį generuoti scenas, kurios „atrodo“ kaip kelias, įskaitant ir keistumus.

Tačiau vien „tikroviškumo jausmas“ saugumui nepakanka. Vairavimas yra priešiškumas: jei jūsų modelis nepataiko net į nedidelį skaičių retų, bet mirtinų scenarijų, sistema vis tiek gali sugesti.

Ką siūlo „Džino“ stiliaus požiūris

„Genie“ stiliaus sistema (kaip pranešta) reiškia modelį, kuris gali generuoti tikėtinus ateities kadrus, sąlygotus veiksmų ir konteksto.

Jei „Waymo“ gali generuoti aukštos kokybės „kitus kadrus“ sudėtingoms miesto scenoms, ji gali:

Sukurtipriešingi faktai„O kas, jeigu būtume sulėtinę anksčiau?“ „O kas, jeigu būtume užėmę kairįjį tarpą?“
Padidintiretų įvykių draudimas: mokymo tikslais per daug atrinkti neįprastas situacijas.
Tobulintiuždarojo ciklo mokymai: apmokyti politiką modeliuojamame pasaulyje, o ne tik su registruotais duomenimis.

Tai žingsnis toliau nei „įrašytų žurnalų atkūrimas“. Tai tarsi perėjimas nuo vairavimo vaizdo įrašų žiūrėjimo prie smėlio dėžės, kuri pati veikia kaip miestas.

Saugos kabliukas: modelio klaidų sudėtis

Yra priežastis, kodėl saugos komandos atsargiai vertina išmoktus simuliatorius: mažos klaidos laikui bėgant kaupiasi.

Jei pasaulio modelis šiek tiek neteisingas dėl:

Kaip pėstieji greitėja,
Kaip automobiliai reaguoja į stabdymą,
Kaip jutikliai elgiasi esant akinimui,

tada imituojamas paleidimas po kelių sekundžių gali nutolti nuo realybės. Tai gali generuoti mokymo signalus, kurie optimizuojami atsižvelgiant į simuliatoriaus ypatybes, o ne į realų pasaulį – problema, kartais vadinamasimuliacijos ir realybės atotrūkis.

Šiuolaikiniai metodai padeda tai išspręsti šiais būdais:

Trumpalaikiai diegimai kartu su tikrais rąstais.
Domeno atsitiktinumas (pridedant triukšmą ir variaciją).
Patvirtinimas pagal atmestus realius scenarijus.
Saugos apribojimai, kurie nesiremia vien išmoktomis prognozėmis.

Pasaulio modelis gali būti neįtikėtinai naudingas, net jei jis nėra „tobula realybė“, jei tik žinote, kur jis patikimas, o kur ne.

Pasaulio modeliai ir žemėlapiai: struktūra po pikseliais

Savaeigis automobilis reaguoja ne tik į vaizdus. Jis taip pat remiasi struktūra:

HD žemėlapiai (juostų geometrija, eismo reguliavimo įrenginiai).
Lokalizacija (kur aš esu žemėlapyje?).
SLAM tipo komponentai kai kuriose sistemose (ypač už susietų regionų ribų).

Stiprus pasaulio modelis turi integruoti tą struktūrą. Priešingu atveju jis tampa įmantriu vaizdo generatoriumi, kuris negali išlaikyti nuoseklios geometrijos.

Štai kodėl autonomijos pasaulio modeliai dažnai susilieja:

Išmoktos suvokimo ypatybės,
Aiškūs geometrijos apribojimai,
Žemėlapio priorai,
Agentais pagrįstos reprezentacijos (kiti eismo dalyviai kaip subjektai su ketinimais).

Geriausios sistemos yra hibridinės: jos naudoja mokymąsi ten, kur gausu duomenų, ir taisykles ten, kur griežti apribojimai.

Kokie pokyčiai vyksta kuriant produktą

Praktiškiausias gero pasaulio modelio poveikis yrainžinerinis greitis.

Šiandien autonominio vairavimo sistemų tobulinimui dažnai reikia:

Realaus pasaulio nesėkmių (atsiskyrimų, vos neįvykusių nesėkmių) nustatymas.
Duomenų ir etikečių pridėjimas.
Derinimo prognozavimas / planavimas.
Pakartotinis patvirtinimas dideliuose scenarijų rinkiniuose.

Jei pasaulio modelis gali generuoti realius gedimo variantus, inžinieriai gali greičiau atlikti darbus. Tai taip pat gali padėti atsakyti į tokius klausimus kaip:

„Ar toks elgesys saugus visame paskirstyme, ar viename žurnale jam pasisekė?“
„Kiek jautri sistema reaguoja į pėsčiųjų dvejones?“
„Koks blogiausias įmanomas rezultatas, jei kitas vairuotojas elgiasi agresyviai?“

Greitesnė iteracija negarantuoja saugumo, tačiau ji gali pagerinti grįžtamojo ryšio ciklą.

Dideli atviri klausimai

Net jei pasaulio modelis yra puikus, yra griežtų apribojimų:

AtskaitomybėAr galite paaiškinti, kodėl sistema numatė tam tikrą ateitį?
PatvirtinimasKaip sertifikuoti išmoktą simuliatorių kaip reprezentatyvų?
Kraštiniai atvejaiKaip užtikrinate, kad būtų atsižvelgta į retus, bet kritinius scenarijus?
Politikos patikimumasAr modelyje apmokyta politika realybėje veikia saugiai?

Čia praverčia reguliavimo institucijos ir saugos atvejai. Autonominėms transporto priemonėms reikės argumentų, kurie susieja mokymo ir testavimo metodus su realia rizika.

Esmė

Aukštos kokybės pasaulio modelis yra galinga autonomijos priemonė, nes jis vairavimą paverčia iš „mokytis tik iš to, kas įvyko“ į „mokytis iš to, kas galėjo nutikti“. Jei „Waymo“ galėtų naudoti „Genie 3“ stiliaus sistemą, kad sugeneruotų realistiškas būsimas kelių scenas, tai galėtų paspartinti mokymą, scenarijų testavimą ir saugos vertinimą, tačiau sunkiausia dalis lieka įrodyti, kad modeliuojamas pasaulis yra pakankamai tikslus, kad patobulinimai būtų pritaikyti realiose gatvėse.

Šaltiniai

Document Title
Waymo and the rise of “world models” for driving: what a Genie-style simulator changes	„Waymo“ ir „pasaulio modelių“ vairavimui iškilimas: ką keičia „Genie“ stiliaus simuliatorius

Waymo is reportedly using a Genie 3-style system to build a world model for autonomous driving. Here’s what world models are, why simulation matters, and the remaining safety gaps.	Pranešama, kad „Waymo“ naudoja „Genie 3“ stiliaus sistemą kurdama autonominio vairavimo pasaulio modelį. Štai kas yra pasaulio modeliai, kodėl svarbi simuliacija ir kokios yra likusios saugos spragos.
Title Attribute
oEmbed (JSON)
oEmbed (XML)
JSON
View all posts by Abdul Jabbar	Peržiūrėti visus Abdul Jabbar įrašus
Sixteen AI agents built a C compiler together — why that matters (and what it doesn't mean yet)	Šešiolika dirbtinio intelekto agentų kartu sukūrė C kompiliatorių – kodėl tai svarbu (ir ko tai dar nereiškia)
Page Content
Waymo and the rise of “world models” for driving: what a Genie-style simulator changes	„Waymo“ ir „pasaulio modelių“ vairavimui iškilimas: ką keičia „Genie“ stiliaus simuliatorius
Blog
/
General
/ By
Abdul Jabbar
Self-driving systems live and die by one question:	Savaeigės sistemos gyvuoja ir miršta dėl vieno klausimo:
what happens next?
Sensors tell an autonomous vehicle what the world looks like right now — camera frames, lidar point clouds, radar reflections, GPS and IMU measurements. But safe driving is anticipation: predicting how pedestrians might move, whether a cyclist will merge, how a car might drift over a lane line, and what an occluded intersection might reveal.	Jutikliai autonominei transporto priemonei pasako, kaip pasaulis atrodo dabar – kamerų kadrai, lidaro taškų debesys, radaro atspindžiai, GPS ir IMU matavimai. Tačiau saugus vairavimas yra numatymas: numatymas, kaip pėstieji gali judėti, ar dviratininkas gali įsiterpti į eismo juostos liniją, kaip automobilis gali nukrypti nuo eismo juostos ribos ir ką gali atskleisti uždaryta sankryža.
That’s where the idea of a
world model
comes in. A world model is a learned representation of “how the world works” that can be rolled forward in time: given the current scene and an action, it can generate plausible future scenes. In robotics and autonomy, the dream is to have a model that can simulate reality well enough to train and validate policies before they ever touch public roads.	Įsijungia. Pasaulio modelis yra išmoktas „kaip veikia pasaulis“ vaizdavimas, kurį galima perkelti laike į priekį: atsižvelgiant į dabartinę situaciją ir veiksmą, galima generuoti tikėtinas ateities situacijas. Robotų ir autonomijos srityje svajonė yra turėti modelį, kuris galėtų pakankamai gerai imituoti realybę, kad būtų galima apmokyti ir patvirtinti politiką dar prieš jai pasiekiant viešuosius kelius.
Reports that Waymo is leveraging a	Pranešama, kad „Waymo“ naudojasi
Genie 3
–style approach to create a world model for driving are a big deal — not because it magically solves autonomy, but because it signals a shift in what the industry thinks is the bottleneck.	– stiliaus požiūris kuriant vairavimo pasaulio modelį yra labai svarbus – ne todėl, kad jis stebuklingai išsprendžia autonomijos problemą, bet todėl, kad tai signalizuoja apie tai, ką pramonė laiko kliūtimi.
Driving autonomy is two problems: perception and prediction	Vairavimo autonomija yra dvi problemos: suvokimas ir numatymas
Early conversations about self-driving focused on perception: “Can the car see?” That includes detecting objects, classifying them, estimating their position and velocity, and tracking them over time.	Ankstyvosiose diskusijose apie savaeigius automobilius daugiausia dėmesio buvo skiriama suvokimui: „Ar automobilis gali matyti?“ Tai apima objektų aptikimą, jų klasifikavimą, jų padėties ir greičio įvertinimą bei stebėjimą laikui bėgant.
Today, the frontier is increasingly prediction and planning:	Šiandien pasienyje vis dažniau prognozuojama ir planuojama:
Prediction
: forecasting the future trajectories of other agents (cars, bikes, pedestrians).	: kitų veiksnių (automobilių, dviračių, pėsčiųjų) būsimų trajektorijų prognozavimas.
Planning
: choosing the vehicle’s own trajectory to be safe, legal, and comfortable.	: transporto priemonės trajektorijos pasirinkimas taip, kad ji būtų saugi, teisėta ir patogi.
Perception errors are still important, but even perfect perception doesn’t give you certainty about intent. A pedestrian at a curb might step out. A driver might run a red light. A cyclist might wobble.	Suvokimo klaidos vis dar svarbios, tačiau net ir tobulas suvokimas nesuteikia tikrumo apie ketinimus. Pėsčiasis prie šaligatvio gali išlipti iš kelio. Vairuotojas gali pravažiuoti degant raudonam šviesoforo signalui. Dviratininkas gali svirduliuoti.
A world model aims to encode those uncertainties so the planner can reason about them.	Pasaulio modelis siekia užkoduoti tuos neapibrėžtumus, kad planuotojas galėtų juos apmąstyti.
What is a “world model” in ML terms?	Kas yra „pasaulio modelis“ mašininio mokymosi terminais?
In machine learning, a world model is typically a generative model trained on large volumes of experience. It can:	Mašininio mokymosi srityje pasaulio modelis paprastai yra generatyvinis modelis, apmokytas naudojant didelius patirties kiekius. Jis gali:
Represent the latent state of the environment.	Atspindi latentinę aplinkos būseną.
Predict how the state evolves.	Numatykite, kaip vystysis valstybė.
Generate observations consistent with that evolution.	Generuokite stebėjimus, atitinkančius tą evoliuciją.
For driving, the observations are multi-modal: images, lidar, maps, and semantic labels.	Vairuojant stebėjimai yra daugiamodaliniai: vaizdai, lidaras, žemėlapiai ir semantinės etiketės.
The core value is that, once trained, you can	Pagrindinė vertybė yra ta, kad kartą apmokytas galite
sample futures
and stress-test decisions. Instead of asking “what is the one predicted path,” you ask “what are the plausible paths, and which ones are dangerous?”	ir sprendimus dėl testavimo nepalankiausiomis sąlygomis. Užuot klausę „koks yra vienas numatomas kelias“, jūs klausiate „kokie yra tikėtini keliai, o kurie – pavojingi?“.
Why simulation is central (and why it’s so hard)	Kodėl modeliavimas yra esminis (ir kodėl jis toks sunkus)
Waymo and others already rely heavily on simulation. The problem is fidelity.	„Waymo“ ir kiti jau labai remiasi modeliavimu. Problema yra tikslumas.
Traditional simulators are built from:	Tradiciniai simuliatoriai yra sukurti iš:
Hand-authored physics and vehicle dynamics.	Ranka parašyta fizika ir transporto priemonių dinamika.
Scene assets (roads, buildings, traffic lights).	Scenos ištekliai (keliai, pastatai, šviesoforai).
Scripted “actors” that follow rules.	Pagal scenarijų sukurti „aktoriai“, kurie laikosi taisyklių.
These are great for many tests, but the long tail of reality is brutal: odd pedestrian behavior, unusual lighting, construction zones, rare signage, local driving cultures, weather edge cases, sensor glitches, and the million subtle interactions that never show up in a tidy rule set.	Jie puikiai tinka daugeliui testų, tačiau ilgoji realybės uodega yra žiauri: keistas pėsčiųjų elgesys, neįprastas apšvietimas, statybų zonos, reti ženklai, vietinė vairavimo kultūra, oro sąlygų neatitikimai, jutiklių trikdžiai ir milijonas subtilių sąveikų, kurios niekada neatsispindi tvarkingame taisyklių rinkinyje.
A learned world model is attractive because it can capture messy distributions directly from data. If you have enough real driving logs, you can train a model to generate scenes that “feel” like the road — including the weirdness.	Išmokto pasaulio modelis yra patrauklus, nes jis gali tiesiogiai iš duomenų užfiksuoti netvarkingus pasiskirstymus. Jei turite pakankamai realių vairavimo žurnalų, galite apmokyti modelį generuoti scenas, kurios „atrodo“ kaip kelias, įskaitant ir keistumus.
But “feels real” is not enough for safety. Driving is adversarial: if your model misses even a small set of rare but deadly scenarios, the system can still fail.	Tačiau vien „tikroviškumo jausmas“ saugumui nepakanka. Vairavimas yra priešiškumas: jei jūsų modelis nepataiko net į nedidelį skaičių retų, bet mirtinų scenarijų, sistema vis tiek gali sugesti.
What a Genie-style approach suggests	Ką siūlo „Džino“ stiliaus požiūris
A Genie-style system (as reported) implies a model that can generate plausible future frames conditioned on actions and context.	„Genie“ stiliaus sistema (kaip pranešta) reiškia modelį, kuris gali generuoti tikėtinus ateities kadrus, sąlygotus veiksmų ir konteksto.
If Waymo can generate high-fidelity “next frames” for complex urban scenes, it can potentially:	Jei „Waymo“ gali generuoti aukštos kokybės „kitus kadrus“ sudėtingoms miesto scenoms, ji gali:
Create
counterfactuals
: “What if we had slowed earlier?” “What if we took the left gap?”	„O kas, jeigu būtume sulėtinę anksčiau?“ „O kas, jeigu būtume užėmę kairįjį tarpą?“
Increase
rare-event coverage
: oversample uncommon situations for training.	: mokymo tikslais per daug atrinkti neįprastas situacijas.
Improve
closed-loop training
: train a policy inside the simulated world, not just on logged data.	: apmokyti politiką modeliuojamame pasaulyje, o ne tik su registruotais duomenimis.
This is a step beyond “replaying recorded logs.” It’s like moving from watching driving videos to having a sandbox where the sandbox itself behaves like a city.	Tai žingsnis toliau nei „įrašytų žurnalų atkūrimas“. Tai tarsi perėjimas nuo vairavimo vaizdo įrašų žiūrėjimo prie smėlio dėžės, kuri pati veikia kaip miestas.
The safety catch: model errors compound	Saugos kabliukas: modelio klaidų sudėtis
There’s a reason safety teams are cautious about learned simulators: small errors compound over time.	Yra priežastis, kodėl saugos komandos atsargiai vertina išmoktus simuliatorius: mažos klaidos laikui bėgant kaupiasi.
If a world model is slightly wrong about:	Jei pasaulio modelis šiek tiek neteisingas dėl:
How pedestrians accelerate,
How cars respond to braking,	Kaip automobiliai reaguoja į stabdymą,
How sensors behave under glare,	Kaip jutikliai elgiasi esant akinimui,
then a simulated rollout can drift away from reality after a few seconds. That can produce training signals that optimize for the simulator’s quirks rather than the real world — a problem sometimes called	tada imituojamas paleidimas po kelių sekundžių gali nutolti nuo realybės. Tai gali generuoti mokymo signalus, kurie optimizuojami atsižvelgiant į simuliatoriaus ypatybes, o ne į realų pasaulį – problema, kartais vadinama
sim-to-real gap	simuliacijos ir realybės atotrūkis
.
Modern approaches mitigate this with:	Šiuolaikiniai metodai padeda tai išspręsti šiais būdais:
Short-horizon rollouts combined with real logs.	Trumpalaikiai diegimai kartu su tikrais rąstais.
Domain randomization (adding noise and variation).	Domeno atsitiktinumas (pridedant triukšmą ir variaciją).
Validation against held-out real scenarios.	Patvirtinimas pagal atmestus realius scenarijus.
Safety constraints that don’t rely purely on learned predictions.	Saugos apribojimai, kurie nesiremia vien išmoktomis prognozėmis.
A world model can be incredibly useful even if it’s not “perfect reality,” as long as you know where it’s reliable and where it’s not.	Pasaulio modelis gali būti neįtikėtinai naudingas, net jei jis nėra „tobula realybė“, jei tik žinote, kur jis patikimas, o kur ne.
World models and maps: the structure under the pixels	Pasaulio modeliai ir žemėlapiai: struktūra po pikseliais
A self-driving car isn’t only reacting to images. It also relies on structure:	Savaeigis automobilis reaguoja ne tik į vaizdus. Jis taip pat remiasi struktūra:
HD maps (lane geometry, traffic control devices).	HD žemėlapiai (juostų geometrija, eismo reguliavimo įrenginiai).
Localization (where am I on the map?).	Lokalizacija (kur aš esu žemėlapyje?).
SLAM-like components in some systems (especially outside mapped regions).	SLAM tipo komponentai kai kuriose sistemose (ypač už susietų regionų ribų).
A strong world model has to integrate that structure. Otherwise it becomes a fancy video generator that can’t maintain consistent geometry.	Stiprus pasaulio modelis turi integruoti tą struktūrą. Priešingu atveju jis tampa įmantriu vaizdo generatoriumi, kuris negali išlaikyti nuoseklios geometrijos.
This is why autonomy world models often blend:	Štai kodėl autonomijos pasaulio modeliai dažnai susilieja:
Learned perception features,
Explicit geometry constraints,	Aiškūs geometrijos apribojimai,
Map priors,
Agent-based representations (other road users as entities with intentions).	Agentais pagrįstos reprezentacijos (kiti eismo dalyviai kaip subjektai su ketinimais).
The best systems are hybrid: they use learning where data is rich and rules where constraints are strict.	Geriausios sistemos yra hibridinės: jos naudoja mokymąsi ten, kur gausu duomenų, ir taisykles ten, kur griežti apribojimai.
What changes for product development	Kokie pokyčiai vyksta kuriant produktą
The most practical impact of a good world model is	Praktiškiausias gero pasaulio modelio poveikis yra
engineering velocity
Today, improving an autonomous driving stack often requires:	Šiandien autonominio vairavimo sistemų tobulinimui dažnai reikia:
Finding real-world failures (disengagements, near misses).	Realaus pasaulio nesėkmių (atsiskyrimų, vos neįvykusių nesėkmių) nustatymas.
Adding data and labels.	Duomenų ir etikečių pridėjimas.
Tuning prediction/planning.	Derinimo prognozavimas / planavimas.
Revalidating across huge scenario suites.	Pakartotinis patvirtinimas dideliuose scenarijų rinkiniuose.
If a world model can generate realistic variations of the failure, engineers can iterate faster. It can also help answer questions like:	Jei pasaulio modelis gali generuoti realius gedimo variantus, inžinieriai gali greičiau atlikti darbus. Tai taip pat gali padėti atsakyti į tokius klausimus kaip:
“Is this behavior safe across a distribution, or was it lucky in one log?”	„Ar toks elgesys saugus visame paskirstyme, ar viename žurnale jam pasisekė?“
“How sensitive is the system to pedestrian hesitation?”	„Kiek jautri sistema reaguoja į pėsčiųjų dvejones?“
“What is the worst-case outcome if another driver behaves aggressively?”	„Koks blogiausias įmanomas rezultatas, jei kitas vairuotojas elgiasi agresyviai?“
Faster iteration is not a guarantee of safety — but it can improve the feedback loop.	Greitesnė iteracija negarantuoja saugumo, tačiau ji gali pagerinti grįžtamojo ryšio ciklą.
The big open questions
Even if the world model is excellent, there are hard limits:	Net jei pasaulio modelis yra puikus, yra griežtų apribojimų:
Accountability
: Can you explain why the system predicted a given future?	Ar galite paaiškinti, kodėl sistema numatė tam tikrą ateitį?
Validation
: How do you certify a learned simulator as representative?	Kaip sertifikuoti išmoktą simuliatorių kaip reprezentatyvų?
Edge cases
: How do you ensure rare but critical scenarios are covered?	Kaip užtikrinate, kad būtų atsižvelgta į retus, bet kritinius scenarijus?
Policy robustness
: Does a policy trained in the model behave safely in reality?	Ar modelyje apmokyta politika realybėje veikia saugiai?
This is where regulators and safety cases come in. Autonomous vehicles will need arguments that connect training and testing methods to real-world risk.	Čia praverčia reguliavimo institucijos ir saugos atvejai. Autonominėms transporto priemonėms reikės argumentų, kurie susieja mokymo ir testavimo metodus su realia rizika.
Bottom line
A high-fidelity world model is a powerful tool for autonomy because it turns driving from “learn only from what happened” into “learn from what could happen.” If Waymo can use a Genie 3–style system to generate realistic future road scenes, it could accelerate training, scenario testing, and safety evaluation — but the hard part remains proving that the simulated world is faithful enough that improvements carry over to real streets.	Aukštos kokybės pasaulio modelis yra galinga autonomijos priemonė, nes jis vairavimą paverčia iš „mokytis tik iš to, kas įvyko“ į „mokytis iš to, kas galėjo nutikti“. Jei „Waymo“ galėtų naudoti „Genie 3“ stiliaus sistemą, kad sugeneruotų realistiškas būsimas kelių scenas, tai galėtų paspartinti mokymą, scenarijų testavimą ir saugos vertinimą, tačiau sunkiausia dalis lieka įrodyti, kad modeliuojamas pasaulis yra pakankamai tikslus, kad patobulinimai būtų pritaikyti realiose gatvėse.
Sources
https://arstechnica.com/google/2026/02/waymo-leverages-genie-3-to-create-a-world-model-for-self-driving-cars/	https://arstechnica.com/google/2026/02/waymo-leverages-genie-3-to-create-a-world-model-for-self-driving-cars/
https://waymo.com/safety/
https://en.wikipedia.org/wiki/World_model	https://lt.wikipedia.org/wiki/Pasaulio_modelis
https://en.wikipedia.org/wiki/Autonomous_car	https://lt.wikipedia.org/wiki/Autonominis_automobilis
https://en.wikipedia.org/wiki/Simultaneous_localization_and_mapping	https://lt.wikipedia.org/wiki/Simultaneous_localization_and_mapping
←
Previous Post
→ Sixteen AI agents built a C compiler together — why that matters (and what it doesn’t mean yet)	→ Šešiolika dirbtinio intelekto agentų kartu sukūrė C kompiliatorių – kodėl tai svarbu (ir ko tai dar nereiškia)
Copyright © 2026 Rill.blog	Autorių teisės © 2026 Rill.blog
oEmbed (JSON)
oEmbed (XML)
JSON
View all posts by Abdul Jabbar	Peržiūrėti visus Abdul Jabbar įrašus
Sixteen AI agents built a C compiler together — why that matters (and what it doesn't mean yet)	Šešiolika dirbtinio intelekto agentų kartu sukūrė C kompiliatorių – kodėl tai svarbu (ir ko tai dar nereiškia)
Waymo is reportedly using a Genie 3-style system to build a world model for autonomous driving. Here’s what world models are, why simulation matters, and the remaining safety gaps.	Pranešama, kad „Waymo“ naudoja „Genie 3“ stiliaus sistemą kurdama autonominio vairavimo pasaulio modelį. Štai kas yra pasaulio modeliai, kodėl svarbi simuliacija ir kokios yra likusios saugos spragos.

Document Title

Waymo and the rise of “world models” for driving: what a Genie-style simulator changes

Waymo is reportedly using a Genie 3-style system to build a world model for autonomous driving. Here’s what world models are, why simulation matters, and the remaining safety gaps.

Title Attribute

oEmbed (JSON)

oEmbed (XML)

JSON

View all posts by Abdul Jabbar

Sixteen AI agents built a C compiler together — why that matters (and what it doesn't mean yet)

Page Content

Waymo and the rise of “world models” for driving: what a Genie-style simulator changes

Blog

General

/ By

Abdul Jabbar

Self-driving systems live and die by one question:

what happens next?

Sensors tell an autonomous vehicle what the world looks like right now — camera frames, lidar point clouds, radar reflections, GPS and IMU measurements. But safe driving is anticipation: predicting how pedestrians might move, whether a cyclist will merge, how a car might drift over a lane line, and what an occluded intersection might reveal.

That’s where the idea of a

world model

comes in. A world model is a learned representation of “how the world works” that can be rolled forward in time: given the current scene and an action, it can generate plausible future scenes. In robotics and autonomy, the dream is to have a model that can simulate reality well enough to train and validate policies before they ever touch public roads.

Reports that Waymo is leveraging a

Genie 3

–style approach to create a world model for driving are a big deal — not because it magically solves autonomy, but because it signals a shift in what the industry thinks is the bottleneck.

Driving autonomy is two problems: perception and prediction

Early conversations about self-driving focused on perception: “Can the car see?” That includes detecting objects, classifying them, estimating their position and velocity, and tracking them over time.

Today, the frontier is increasingly prediction and planning:

Prediction

: forecasting the future trajectories of other agents (cars, bikes, pedestrians).

Planning

: choosing the vehicle’s own trajectory to be safe, legal, and comfortable.

Perception errors are still important, but even perfect perception doesn’t give you certainty about intent. A pedestrian at a curb might step out. A driver might run a red light. A cyclist might wobble.

A world model aims to encode those uncertainties so the planner can reason about them.

What is a “world model” in ML terms?

In machine learning, a world model is typically a generative model trained on large volumes of experience. It can:

Represent the latent state of the environment.

Predict how the state evolves.

Generate observations consistent with that evolution.

For driving, the observations are multi-modal: images, lidar, maps, and semantic labels.

The core value is that, once trained, you can

sample futures

and stress-test decisions. Instead of asking “what is the one predicted path,” you ask “what are the plausible paths, and which ones are dangerous?”

Why simulation is central (and why it’s so hard)

Waymo and others already rely heavily on simulation. The problem is fidelity.

Traditional simulators are built from:

Hand-authored physics and vehicle dynamics.

Scene assets (roads, buildings, traffic lights).

Scripted “actors” that follow rules.

These are great for many tests, but the long tail of reality is brutal: odd pedestrian behavior, unusual lighting, construction zones, rare signage, local driving cultures, weather edge cases, sensor glitches, and the million subtle interactions that never show up in a tidy rule set.

A learned world model is attractive because it can capture messy distributions directly from data. If you have enough real driving logs, you can train a model to generate scenes that “feel” like the road — including the weirdness.

But “feels real” is not enough for safety. Driving is adversarial: if your model misses even a small set of rare but deadly scenarios, the system can still fail.

What a Genie-style approach suggests

A Genie-style system (as reported) implies a model that can generate plausible future frames conditioned on actions and context.

If Waymo can generate high-fidelity “next frames” for complex urban scenes, it can potentially:

Create

counterfactuals

: “What if we had slowed earlier?” “What if we took the left gap?”

Increase

rare-event coverage

: oversample uncommon situations for training.

Improve

closed-loop training

: train a policy inside the simulated world, not just on logged data.

This is a step beyond “replaying recorded logs.” It’s like moving from watching driving videos to having a sandbox where the sandbox itself behaves like a city.

The safety catch: model errors compound

There’s a reason safety teams are cautious about learned simulators: small errors compound over time.

If a world model is slightly wrong about:

How pedestrians accelerate,

How cars respond to braking,

How sensors behave under glare,

then a simulated rollout can drift away from reality after a few seconds. That can produce training signals that optimize for the simulator’s quirks rather than the real world — a problem sometimes called

sim-to-real gap

Modern approaches mitigate this with:

Short-horizon rollouts combined with real logs.

Domain randomization (adding noise and variation).

Validation against held-out real scenarios.

Safety constraints that don’t rely purely on learned predictions.

A world model can be incredibly useful even if it’s not “perfect reality,” as long as you know where it’s reliable and where it’s not.

World models and maps: the structure under the pixels

A self-driving car isn’t only reacting to images. It also relies on structure:

HD maps (lane geometry, traffic control devices).

Localization (where am I on the map?).

SLAM-like components in some systems (especially outside mapped regions).

A strong world model has to integrate that structure. Otherwise it becomes a fancy video generator that can’t maintain consistent geometry.

This is why autonomy world models often blend:

Learned perception features,

Explicit geometry constraints,

Map priors,

Agent-based representations (other road users as entities with intentions).

The best systems are hybrid: they use learning where data is rich and rules where constraints are strict.

What changes for product development

The most practical impact of a good world model is

engineering velocity

Today, improving an autonomous driving stack often requires:

Finding real-world failures (disengagements, near misses).

Adding data and labels.

Tuning prediction/planning.

Revalidating across huge scenario suites.

If a world model can generate realistic variations of the failure, engineers can iterate faster. It can also help answer questions like:

“Is this behavior safe across a distribution, or was it lucky in one log?”

“How sensitive is the system to pedestrian hesitation?”

“What is the worst-case outcome if another driver behaves aggressively?”

Faster iteration is not a guarantee of safety — but it can improve the feedback loop.

The big open questions

Even if the world model is excellent, there are hard limits:

Accountability

: Can you explain why the system predicted a given future?

Validation

: How do you certify a learned simulator as representative?

Edge cases

: How do you ensure rare but critical scenarios are covered?

Policy robustness

: Does a policy trained in the model behave safely in reality?

This is where regulators and safety cases come in. Autonomous vehicles will need arguments that connect training and testing methods to real-world risk.

Bottom line

A high-fidelity world model is a powerful tool for autonomy because it turns driving from “learn only from what happened” into “learn from what could happen.” If Waymo can use a Genie 3–style system to generate realistic future road scenes, it could accelerate training, scenario testing, and safety evaluation — but the hard part remains proving that the simulated world is faithful enough that improvements carry over to real streets.

Sources

https://arstechnica.com/google/2026/02/waymo-leverages-genie-3-to-create-a-world-model-for-self-driving-cars/

https://waymo.com/safety/

https://en.wikipedia.org/wiki/World_model

https://en.wikipedia.org/wiki/Autonomous_car

https://en.wikipedia.org/wiki/Simultaneous_localization_and_mapping

←

→ Sixteen AI agents built a C compiler together — why that matters (and what it doesn’t mean yet)

oEmbed (JSON)

oEmbed (XML)

JSON

View all posts by Abdul Jabbar

Sixteen AI agents built a C compiler together — why that matters (and what it doesn't mean yet)

Waymo is reportedly using a Genie 3-style system to build a world model for autonomous driving. Here’s what world models are, why simulation matters, and the remaining safety gaps.

Document Title
Page not found - Rill.blog
Image Alt
Rill.blog
Title Attribute
Rill.blog » Feed
RSD
Skip to content
Placeholder Attribute
Search...
Email address
Page Content
Page not found - Rill.blog
Skip to content
Home
Read Now
Urdu Novels
Mukhtasar Kahanian
Urdu Columns
Main Menu
This page doesn't seem to exist.
It looks like the link pointing here was faulty. Maybe try searching?	Panašu, kad nuoroda čia buvo klaidinga. Gal paskaityti paieškoti?
Search for:
Search
Get all the latest news and info sent to your inbox.	gauti visas naujausias naujienas ir informaciją tiesiai į savo el. pašto dėžutę.
Please enable JavaScript in your browser to complete this form.	pašalini šią formą, įjunkite „JavaScript“ savo naršyklėje.
Email
*
Subscribe
Categories
Copyright © 2025 Rill.blog	Autorių teisės © 2025 Rill.blog
English
العربية
Čeština
Dansk
Nederlands
Eesti
Suomi
Français
Deutsch
Ελληνικά
Magyar
Bahasa Indonesia
Italiano
日本語
한국어
Latviešu valoda
Lietuvių kalba
Norsk bokmål
Polski
Português
Română
Русский
Slovenčina
Slovenščina
Español
Svenska
ไทย
Türkçe
Українська
Tiếng Việt
Notifications
Rill.blog
Rill.blog » Feed
RSD
Search...
Email address

Document Title

Page not found - Rill.blog

Image Alt

Rill.blog

Title Attribute

Rill.blog » Feed

RSD

Placeholder Attribute

Search...

Email address

Page Content

Page not found - Rill.blog

Home

Read Now

Urdu Novels

Mukhtasar Kahanian

Urdu Columns

Main Menu

This page doesn't seem to exist.

It looks like the link pointing here was faulty. Maybe try searching?

Search for:

Get all the latest news and info sent to your inbox.

Please enable JavaScript in your browser to complete this form.