Waymo un “pasaules modeļu” rašanās braukšanai: ko maina Genie stila simulators

Pašbraucošās sistēmas dzīvo un mirst, pamatojoties uz vienu jautājumu:Kas notiks tālāk?

Sensori autonomajam transportlīdzeklim sniedz informāciju par to, kā pasaule izskatās tieši tagad — kameru kadri, lidāra punktu mākoņi, radara atstarojumi, GPS un IMU mērījumi. Taču droša braukšana ir paredzēšana: gājēju kustības prognozēšana, vai velosipēdists iekļūs ceļa joslā, kā automašīna varētu novirzīties no joslas līnijas un ko varētu atklāt slēgts krustojums.

Tieši tur radās ideja parpasaules modelisnāk iekšā. Pasaules modelis ir apgūts “pasaules darbības” attēlojums, ko var virzīt uz priekšu laikā: ņemot vērā pašreizējo ainu un darbību, tas var ģenerēt ticamas nākotnes ainas. Robotikā un autonomijā sapnis ir izveidot modeli, kas var pietiekami labi simulēt realitāti, lai apmācītu un validētu politikas, pirms tās nonāk saskarē ar publiskiem ceļiem.

Ziņojumi liecina, ka Waymo izmantoDžins 3– stila pieeja, lai radītu pasaules modeli braukšanai, ir liela nozīme — nevis tāpēc, ka tā maģiski atrisina autonomijas problēmu, bet gan tāpēc, ka tā signalizē par pārmaiņām tajā, ko nozare uzskata par sašaurinājumu.

Braukšanas autonomija ir divas problēmas: uztvere un prognozēšana

Agrīnās sarunas par pašbraukšanu koncentrējās uz uztveri: "Vai automašīna var redzēt?" Tas ietver objektu noteikšanu, klasificēšanu, to atrašanās vietas un ātruma novērtēšanu un izsekošanu laika gaitā.

Mūsdienās robeža arvien vairāk ir paredzēšana un plānošana:

Prognozecitu aģentu (automašīnu, velosipēdu, gājēju) nākotnes trajektoriju prognozēšana.
Plānošana: transportlīdzekļa trajektorijas izvēle, lai tā būtu droša, likumīga un ērta.

Uztveres kļūdas joprojām ir svarīgas, taču pat perfekta uztvere nesniedz pārliecību par nodomu. Gājējs pie ietves varētu izkāpt. Autovadītājs varētu braukt pie sarkanās gaismas. Velosipēdists varētu šūpoties.

Pasaules modeļa mērķis ir kodēt šīs nenoteiktības, lai plānotājs varētu tās pamatot.

Kas ir “pasaules modelis” mašīnmācīšanās izpratnē?

Mašīnmācībā pasaules modelis parasti ir ģeneratīvs modelis, kas apmācīts, izmantojot lielu pieredzes apjomu. Tas var:

Attēlo vides latento stāvokli.
Prognozēt, kā attīstīsies valsts.
Ģenerējiet novērojumus, kas atbilst šai evolūcijai.

Braukšanas laikā novērojumi ir multimodāli: attēli, lidars, kartes un semantiskās etiķetes.

Galvenā vērtība ir tāda, ka pēc apmācības jūs varatparaugu nākotnes līgumiun stresa testu lēmumus. Tā vietā, lai jautātu “kāds ir vienīgais prognozētais ceļš”, jūs jautājat: “kādi ir iespējamie ceļi un kuri no tiem ir bīstami?”

Kāpēc simulācija ir centrāla (un kāpēc tā ir tik sarežģīta)

Waymo un citi jau tagad lielā mērā paļaujas uz simulāciju. Problēma ir precizitāte.

Tradicionālie simulatori ir veidoti no:

Ar roku rakstīta fizika un transportlīdzekļu dinamika.
Ainas resursi (ceļi, ēkas, luksofori).
Scenārija “aktieri”, kas ievēro noteikumus.

Tie ir lieliski piemēroti daudziem testiem, taču realitātes garā aste ir nežēlīga: dīvaina gājēju uzvedība, neparasts apgaismojums, būvdarbu zonas, retas norādes, vietējā braukšanas kultūra, laikapstākļu radīti bojājumi, sensoru kļūmes un miljons smalku mijiedarbību, kas nekad neparādās sakārtotā noteikumu kopumā.

Apgūtās pasaules modelis ir pievilcīgs, jo tas var tieši no datiem uztvert sarežģītus sadalījumus. Ja jums ir pietiekami daudz reālu braukšanas žurnālu, varat apmācīt modeli ģenerēt ainas, kas “šķiet” līdzīgas ceļam, ieskaitot dīvainības.

Taču drošībai nepietiek tikai ar to, ka “jūtas reāli”. Braukšana ir naidīga: ja jūsu modelis neizdodas pat veikt nelielu skaitu retu, bet nāvējošu scenāriju, sistēma joprojām var sabojāties.

Ko liecina Džina stila pieeja

Džina stila sistēma (kā ziņots) nozīmē modeli, kas var ģenerēt ticamus nākotnes kadrus, kas ir atkarīgi no darbībām un konteksta.

Ja Waymo var ģenerēt augstas precizitātes “nākamos kadrus” sarežģītām pilsētas ainām, tas potenciāli var:

Izveidothipotētiski fakti"Kas būtu, ja mēs būtu palēninājuši ātrumu agrāk?" "Kas būtu, ja mēs ieņemtu kreiso spraugu?"
Palielinātretu notikumu apdrošināšana: apmācībai pārāk daudz paraugu ņemt neparastās situācijās.
Uzlabotslēgtas cilpas apmācība: apmācīt politiku simulētajā pasaulē, ne tikai uz reģistrētajiem datiem.

Šis ir solis tālāk par “ierakstīto žurnālu atkārtotu atskaņošanu”. Tas ir līdzīgi kā pāreja no braukšanas video skatīšanās uz “smilškastes” izmantošanu, kur pati “smilškaste” darbojas kā pilsēta.

Drošības āķis: modeļa kļūdu salikums

Ir iemesls, kāpēc drošības komandas ir piesardzīgas attiecībā uz apgūtiem simulatoriem: nelielas kļūdas laika gaitā uzkrājas.

Ja pasaules modelis nedaudz kļūdās attiecībā uz:

Kā gājēji paātrina ātrumu,
Kā automašīnas reaģē uz bremzēšanu,
Kā sensori uzvedas atspīduma apstākļos,

tad simulēta izlaišana pēc dažām sekundēm var atšķirties no realitātes. Tas var radīt apmācības signālus, kas optimizē simulatora īpatnības, nevis reālo pasauli — problēma, ko dažreiz sauc parsimulācijas un reālās situācijas atšķirība.

Mūsdienu metodes to novērš, izmantojot:

Īstermiņa ieviešana apvienojumā ar īstiem baļķiem.
Domēna nejaušināšana (trokšņa un variāciju pievienošana).
Validācija pret reāliem, neizskaidrojamiem scenārijiem.
Drošības ierobežojumi, kas nav balstīti tikai uz apgūtām prognozēm.

Pasaules modelis var būt neticami noderīgs pat tad, ja tas nav “ideāla realitāte”, ja vien zināt, kur tas ir uzticams un kur ne.

Pasaules modeļi un kartes: struktūra zem pikseļiem

Pašbraucoša automašīna ne tikai reaģē uz attēliem. Tā ir atkarīga arī no struktūras:

HD kartes (joslu ģeometrija, satiksmes regulēšanas ierīces).
Lokalizācija (kur es atrodos kartē?).
SLAM līdzīgi komponenti dažās sistēmās (īpaši ārpus kartētajiem reģioniem).

Spēcīgam pasaules modelim ir jāintegrē šī struktūra. Pretējā gadījumā tas kļūst par iedomīgu video ģeneratoru, kas nespēj uzturēt konsekventu ģeometriju.

Tāpēc autonomijas pasaules modeļi bieži vien sajaucas:

Apgūtās uztveres iezīmes,
Skaidri ģeometrijas ierobežojumi,
Kartes priori,
Uz aģentiem balstītas reprezentācijas (citi satiksmes dalībnieki kā entītijas ar nodomiem).

Vislabākās sistēmas ir hibrīdas: tās izmanto mācīšanos tur, kur ir daudz datu, un noteikumus tur, kur ierobežojumi ir stingri.

Kādas izmaiņas ir produktu izstrādē

Laba pasaules modeļa vispraktiskākā ietekme irinženiertehniskais ātrums.

Mūsdienās autonomās braukšanas sistēmas uzlabošanai bieži vien ir nepieciešams:

Reālās pasaules neveiksmju (atvienošanas, gandrīz notikušu negadījumu) atrašana.
Datu un etiķešu pievienošana.
Skaņošanas prognozēšana/plānošana.
Atkārtota validācija milzīgos scenāriju komplektos.

Ja pasaules modelis var ģenerēt reālistiskas kļūmes variācijas, inženieri var ātrāk atkārtot procesu. Tas var arī palīdzēt atbildēt uz tādiem jautājumiem kā:

"Vai šāda uzvedība ir droša visā izplatījumā, vai arī vienā žurnālā tā bija veiksmīga?"
"Cik jutīga sistēma ir pret gājēju vilcināšanos?"
"Kāds ir sliktākais iznākums, ja cits autovadītājs uzvedas agresīvi?"

Ātrāka iterācija negarantē drošību, taču tā var uzlabot atgriezeniskās saites cilpu.

Lielie atklātie jautājumi

Pat ja pasaules modelis ir izcils, pastāv stingri ierobežojumi:

AtbildībaVai varat paskaidrot, kāpēc sistēma paredzēja noteiktu nākotni?
ValidācijaKā sertificēt apmācītu simulatoru kā reprezentatīvu?
Malu gadījumiKā jūs nodrošināt, ka tiek aptverti reti, bet kritiski scenāriji?
Politikas stabilitāteVai modelī apmācīta politika realitātē darbojas droši?

Šeit noder regulatori un drošības apsvērumi. Autonomajiem transportlīdzekļiem būs nepieciešami argumenti, kas saista apmācības un testēšanas metodes ar reālās pasaules riskiem.

Apakšējā līnija

Augstas precizitātes pasaules modelis ir spēcīgs instruments autonomijas nodrošināšanai, jo tas pārvērš braukšanu no “mācīties tikai no notikušā” par “mācīties no tā, kas varētu notikt”. Ja Waymo varētu izmantot Genie 3 stila sistēmu, lai ģenerētu reālistiskas nākotnes ceļu ainas, tas varētu paātrināt apmācību, scenāriju testēšanu un drošības novērtēšanu, taču grūtākais joprojām ir pierādīt, ka simulētā pasaule ir pietiekami precīza, lai uzlabojumi tiktu pārnesti uz reālām ielām.

Avoti

Document Title
Waymo and the rise of “world models” for driving: what a Genie-style simulator changes	Waymo un “pasaules modeļu” rašanās braukšanai: ko maina Genie stila simulators

Waymo is reportedly using a Genie 3-style system to build a world model for autonomous driving. Here’s what world models are, why simulation matters, and the remaining safety gaps.	Tiek ziņots, ka Waymo izmanto Genie 3 stila sistēmu, lai izveidotu pasaules modeli autonomai braukšanai. Lūk, kas ir pasaules modeļi, kāpēc simulācija ir svarīga un kādas ir atlikušās drošības nepilnības.
Title Attribute
oEmbed (JSON)
oEmbed (XML)
JSON
View all posts by Abdul Jabbar	Skatīt visus Abdula Džabara ierakstus
Sixteen AI agents built a C compiler together — why that matters (and what it doesn't mean yet)	Sešpadsmit mākslīgā intelekta aģenti kopā izveidoja C kompilatoru — kāpēc tas ir svarīgi (un ko tas vēl nenozīmē)
Page Content
Waymo and the rise of “world models” for driving: what a Genie-style simulator changes	Waymo un “pasaules modeļu” rašanās braukšanai: ko maina Genie stila simulators
Blog
/
General
/ By
Abdul Jabbar
Self-driving systems live and die by one question:	Pašbraucošās sistēmas dzīvo un mirst, pamatojoties uz vienu jautājumu:
what happens next?
Sensors tell an autonomous vehicle what the world looks like right now — camera frames, lidar point clouds, radar reflections, GPS and IMU measurements. But safe driving is anticipation: predicting how pedestrians might move, whether a cyclist will merge, how a car might drift over a lane line, and what an occluded intersection might reveal.	Sensori autonomajam transportlīdzeklim sniedz informāciju par to, kā pasaule izskatās tieši tagad — kameru kadri, lidāra punktu mākoņi, radara atstarojumi, GPS un IMU mērījumi. Taču droša braukšana ir paredzēšana: gājēju kustības prognozēšana, vai velosipēdists iekļūs ceļa joslā, kā automašīna varētu novirzīties no joslas līnijas un ko varētu atklāt slēgts krustojums.
That’s where the idea of a
world model
comes in. A world model is a learned representation of “how the world works” that can be rolled forward in time: given the current scene and an action, it can generate plausible future scenes. In robotics and autonomy, the dream is to have a model that can simulate reality well enough to train and validate policies before they ever touch public roads.	nāk iekšā. Pasaules modelis ir apgūts “pasaules darbības” attēlojums, ko var virzīt uz priekšu laikā: ņemot vērā pašreizējo ainu un darbību, tas var ģenerēt ticamas nākotnes ainas. Robotikā un autonomijā sapnis ir izveidot modeli, kas var pietiekami labi simulēt realitāti, lai apmācītu un validētu politikas, pirms tās nonāk saskarē ar publiskiem ceļiem.
Reports that Waymo is leveraging a	Ziņojumi liecina, ka Waymo izmanto
Genie 3
–style approach to create a world model for driving are a big deal — not because it magically solves autonomy, but because it signals a shift in what the industry thinks is the bottleneck.	– stila pieeja, lai radītu pasaules modeli braukšanai, ir liela nozīme — nevis tāpēc, ka tā maģiski atrisina autonomijas problēmu, bet gan tāpēc, ka tā signalizē par pārmaiņām tajā, ko nozare uzskata par sašaurinājumu.
Driving autonomy is two problems: perception and prediction	Braukšanas autonomija ir divas problēmas: uztvere un prognozēšana
Early conversations about self-driving focused on perception: “Can the car see?” That includes detecting objects, classifying them, estimating their position and velocity, and tracking them over time.	Agrīnās sarunas par pašbraukšanu koncentrējās uz uztveri: "Vai automašīna var redzēt?" Tas ietver objektu noteikšanu, klasificēšanu, to atrašanās vietas un ātruma novērtēšanu un izsekošanu laika gaitā.
Today, the frontier is increasingly prediction and planning:	Mūsdienās robeža arvien vairāk ir paredzēšana un plānošana:
Prediction
: forecasting the future trajectories of other agents (cars, bikes, pedestrians).	citu aģentu (automašīnu, velosipēdu, gājēju) nākotnes trajektoriju prognozēšana.
Planning
: choosing the vehicle’s own trajectory to be safe, legal, and comfortable.	: transportlīdzekļa trajektorijas izvēle, lai tā būtu droša, likumīga un ērta.
Perception errors are still important, but even perfect perception doesn’t give you certainty about intent. A pedestrian at a curb might step out. A driver might run a red light. A cyclist might wobble.	Uztveres kļūdas joprojām ir svarīgas, taču pat perfekta uztvere nesniedz pārliecību par nodomu. Gājējs pie ietves varētu izkāpt. Autovadītājs varētu braukt pie sarkanās gaismas. Velosipēdists varētu šūpoties.
A world model aims to encode those uncertainties so the planner can reason about them.	Pasaules modeļa mērķis ir kodēt šīs nenoteiktības, lai plānotājs varētu tās pamatot.
What is a “world model” in ML terms?	Kas ir “pasaules modelis” mašīnmācīšanās izpratnē?
In machine learning, a world model is typically a generative model trained on large volumes of experience. It can:	Mašīnmācībā pasaules modelis parasti ir ģeneratīvs modelis, kas apmācīts, izmantojot lielu pieredzes apjomu. Tas var:
Represent the latent state of the environment.	Attēlo vides latento stāvokli.
Predict how the state evolves.	Prognozēt, kā attīstīsies valsts.
Generate observations consistent with that evolution.	Ģenerējiet novērojumus, kas atbilst šai evolūcijai.
For driving, the observations are multi-modal: images, lidar, maps, and semantic labels.	Braukšanas laikā novērojumi ir multimodāli: attēli, lidars, kartes un semantiskās etiķetes.
The core value is that, once trained, you can	Galvenā vērtība ir tāda, ka pēc apmācības jūs varat
sample futures
and stress-test decisions. Instead of asking “what is the one predicted path,” you ask “what are the plausible paths, and which ones are dangerous?”	un stresa testu lēmumus. Tā vietā, lai jautātu “kāds ir vienīgais prognozētais ceļš”, jūs jautājat: “kādi ir iespējamie ceļi un kuri no tiem ir bīstami?”
Why simulation is central (and why it’s so hard)	Kāpēc simulācija ir centrāla (un kāpēc tā ir tik sarežģīta)
Waymo and others already rely heavily on simulation. The problem is fidelity.	Waymo un citi jau tagad lielā mērā paļaujas uz simulāciju. Problēma ir precizitāte.
Traditional simulators are built from:	Tradicionālie simulatori ir veidoti no:
Hand-authored physics and vehicle dynamics.	Ar roku rakstīta fizika un transportlīdzekļu dinamika.
Scene assets (roads, buildings, traffic lights).	Ainas resursi (ceļi, ēkas, luksofori).
Scripted “actors” that follow rules.	Scenārija “aktieri”, kas ievēro noteikumus.
These are great for many tests, but the long tail of reality is brutal: odd pedestrian behavior, unusual lighting, construction zones, rare signage, local driving cultures, weather edge cases, sensor glitches, and the million subtle interactions that never show up in a tidy rule set.	Tie ir lieliski piemēroti daudziem testiem, taču realitātes garā aste ir nežēlīga: dīvaina gājēju uzvedība, neparasts apgaismojums, būvdarbu zonas, retas norādes, vietējā braukšanas kultūra, laikapstākļu radīti bojājumi, sensoru kļūmes un miljons smalku mijiedarbību, kas nekad neparādās sakārtotā noteikumu kopumā.
A learned world model is attractive because it can capture messy distributions directly from data. If you have enough real driving logs, you can train a model to generate scenes that “feel” like the road — including the weirdness.	Apgūtās pasaules modelis ir pievilcīgs, jo tas var tieši no datiem uztvert sarežģītus sadalījumus. Ja jums ir pietiekami daudz reālu braukšanas žurnālu, varat apmācīt modeli ģenerēt ainas, kas “šķiet” līdzīgas ceļam, ieskaitot dīvainības.
But “feels real” is not enough for safety. Driving is adversarial: if your model misses even a small set of rare but deadly scenarios, the system can still fail.	Taču drošībai nepietiek tikai ar to, ka “jūtas reāli”. Braukšana ir naidīga: ja jūsu modelis neizdodas pat veikt nelielu skaitu retu, bet nāvējošu scenāriju, sistēma joprojām var sabojāties.
What a Genie-style approach suggests
A Genie-style system (as reported) implies a model that can generate plausible future frames conditioned on actions and context.	Džina stila sistēma (kā ziņots) nozīmē modeli, kas var ģenerēt ticamus nākotnes kadrus, kas ir atkarīgi no darbībām un konteksta.
If Waymo can generate high-fidelity “next frames” for complex urban scenes, it can potentially:	Ja Waymo var ģenerēt augstas precizitātes “nākamos kadrus” sarežģītām pilsētas ainām, tas potenciāli var:
Create
counterfactuals
: “What if we had slowed earlier?” “What if we took the left gap?”	"Kas būtu, ja mēs būtu palēninājuši ātrumu agrāk?" "Kas būtu, ja mēs ieņemtu kreiso spraugu?"
Increase
rare-event coverage
: oversample uncommon situations for training.	: apmācībai pārāk daudz paraugu ņemt neparastās situācijās.
Improve
closed-loop training
: train a policy inside the simulated world, not just on logged data.	: apmācīt politiku simulētajā pasaulē, ne tikai uz reģistrētajiem datiem.
This is a step beyond “replaying recorded logs.” It’s like moving from watching driving videos to having a sandbox where the sandbox itself behaves like a city.	Šis ir solis tālāk par “ierakstīto žurnālu atkārtotu atskaņošanu”. Tas ir līdzīgi kā pāreja no braukšanas video skatīšanās uz “smilškastes” izmantošanu, kur pati “smilškaste” darbojas kā pilsēta.
The safety catch: model errors compound	Drošības āķis: modeļa kļūdu salikums
There’s a reason safety teams are cautious about learned simulators: small errors compound over time.	Ir iemesls, kāpēc drošības komandas ir piesardzīgas attiecībā uz apgūtiem simulatoriem: nelielas kļūdas laika gaitā uzkrājas.
If a world model is slightly wrong about:	Ja pasaules modelis nedaudz kļūdās attiecībā uz:
How pedestrians accelerate,	Kā gājēji paātrina ātrumu,
How cars respond to braking,	Kā automašīnas reaģē uz bremzēšanu,
How sensors behave under glare,	Kā sensori uzvedas atspīduma apstākļos,
then a simulated rollout can drift away from reality after a few seconds. That can produce training signals that optimize for the simulator’s quirks rather than the real world — a problem sometimes called	tad simulēta izlaišana pēc dažām sekundēm var atšķirties no realitātes. Tas var radīt apmācības signālus, kas optimizē simulatora īpatnības, nevis reālo pasauli — problēma, ko dažreiz sauc par
sim-to-real gap	simulācijas un reālās situācijas atšķirība
.
Modern approaches mitigate this with:	Mūsdienu metodes to novērš, izmantojot:
Short-horizon rollouts combined with real logs.	Īstermiņa ieviešana apvienojumā ar īstiem baļķiem.
Domain randomization (adding noise and variation).	Domēna nejaušināšana (trokšņa un variāciju pievienošana).
Validation against held-out real scenarios.	Validācija pret reāliem, neizskaidrojamiem scenārijiem.
Safety constraints that don’t rely purely on learned predictions.	Drošības ierobežojumi, kas nav balstīti tikai uz apgūtām prognozēm.
A world model can be incredibly useful even if it’s not “perfect reality,” as long as you know where it’s reliable and where it’s not.	Pasaules modelis var būt neticami noderīgs pat tad, ja tas nav “ideāla realitāte”, ja vien zināt, kur tas ir uzticams un kur ne.
World models and maps: the structure under the pixels	Pasaules modeļi un kartes: struktūra zem pikseļiem
A self-driving car isn’t only reacting to images. It also relies on structure:	Pašbraucoša automašīna ne tikai reaģē uz attēliem. Tā ir atkarīga arī no struktūras:
HD maps (lane geometry, traffic control devices).	HD kartes (joslu ģeometrija, satiksmes regulēšanas ierīces).
Localization (where am I on the map?).	Lokalizācija (kur es atrodos kartē?).
SLAM-like components in some systems (especially outside mapped regions).	SLAM līdzīgi komponenti dažās sistēmās (īpaši ārpus kartētajiem reģioniem).
A strong world model has to integrate that structure. Otherwise it becomes a fancy video generator that can’t maintain consistent geometry.	Spēcīgam pasaules modelim ir jāintegrē šī struktūra. Pretējā gadījumā tas kļūst par iedomīgu video ģeneratoru, kas nespēj uzturēt konsekventu ģeometriju.
This is why autonomy world models often blend:	Tāpēc autonomijas pasaules modeļi bieži vien sajaucas:
Learned perception features,
Explicit geometry constraints,	Skaidri ģeometrijas ierobežojumi,
Map priors,
Agent-based representations (other road users as entities with intentions).	Uz aģentiem balstītas reprezentācijas (citi satiksmes dalībnieki kā entītijas ar nodomiem).
The best systems are hybrid: they use learning where data is rich and rules where constraints are strict.	Vislabākās sistēmas ir hibrīdas: tās izmanto mācīšanos tur, kur ir daudz datu, un noteikumus tur, kur ierobežojumi ir stingri.
What changes for product development	Kādas izmaiņas ir produktu izstrādē
The most practical impact of a good world model is	Laba pasaules modeļa vispraktiskākā ietekme ir
engineering velocity
Today, improving an autonomous driving stack often requires:	Mūsdienās autonomās braukšanas sistēmas uzlabošanai bieži vien ir nepieciešams:
Finding real-world failures (disengagements, near misses).	Reālās pasaules neveiksmju (atvienošanas, gandrīz notikušu negadījumu) atrašana.
Adding data and labels.	Datu un etiķešu pievienošana.
Tuning prediction/planning.	Skaņošanas prognozēšana/plānošana.
Revalidating across huge scenario suites.	Atkārtota validācija milzīgos scenāriju komplektos.
If a world model can generate realistic variations of the failure, engineers can iterate faster. It can also help answer questions like:	Ja pasaules modelis var ģenerēt reālistiskas kļūmes variācijas, inženieri var ātrāk atkārtot procesu. Tas var arī palīdzēt atbildēt uz tādiem jautājumiem kā:
“Is this behavior safe across a distribution, or was it lucky in one log?”	"Vai šāda uzvedība ir droša visā izplatījumā, vai arī vienā žurnālā tā bija veiksmīga?"
“How sensitive is the system to pedestrian hesitation?”	"Cik jutīga sistēma ir pret gājēju vilcināšanos?"
“What is the worst-case outcome if another driver behaves aggressively?”	"Kāds ir sliktākais iznākums, ja cits autovadītājs uzvedas agresīvi?"
Faster iteration is not a guarantee of safety — but it can improve the feedback loop.	Ātrāka iterācija negarantē drošību, taču tā var uzlabot atgriezeniskās saites cilpu.
The big open questions
Even if the world model is excellent, there are hard limits:	Pat ja pasaules modelis ir izcils, pastāv stingri ierobežojumi:
Accountability
: Can you explain why the system predicted a given future?	Vai varat paskaidrot, kāpēc sistēma paredzēja noteiktu nākotni?
Validation
: How do you certify a learned simulator as representative?	Kā sertificēt apmācītu simulatoru kā reprezentatīvu?
Edge cases
: How do you ensure rare but critical scenarios are covered?	Kā jūs nodrošināt, ka tiek aptverti reti, bet kritiski scenāriji?
Policy robustness
: Does a policy trained in the model behave safely in reality?	Vai modelī apmācīta politika realitātē darbojas droši?
This is where regulators and safety cases come in. Autonomous vehicles will need arguments that connect training and testing methods to real-world risk.	Šeit noder regulatori un drošības apsvērumi. Autonomajiem transportlīdzekļiem būs nepieciešami argumenti, kas saista apmācības un testēšanas metodes ar reālās pasaules riskiem.
Bottom line
A high-fidelity world model is a powerful tool for autonomy because it turns driving from “learn only from what happened” into “learn from what could happen.” If Waymo can use a Genie 3–style system to generate realistic future road scenes, it could accelerate training, scenario testing, and safety evaluation — but the hard part remains proving that the simulated world is faithful enough that improvements carry over to real streets.	Augstas precizitātes pasaules modelis ir spēcīgs instruments autonomijas nodrošināšanai, jo tas pārvērš braukšanu no “mācīties tikai no notikušā” par “mācīties no tā, kas varētu notikt”. Ja Waymo varētu izmantot Genie 3 stila sistēmu, lai ģenerētu reālistiskas nākotnes ceļu ainas, tas varētu paātrināt apmācību, scenāriju testēšanu un drošības novērtēšanu, taču grūtākais joprojām ir pierādīt, ka simulētā pasaule ir pietiekami precīza, lai uzlabojumi tiktu pārnesti uz reālām ielām.
Sources
https://arstechnica.com/google/2026/02/waymo-leverages-genie-3-to-create-a-world-model-for-self-driving-cars/	https://arstechnica.com/google/2026/02/waymo-leverages-genie-3-to-create-a-world-model-for-self-driving-cars/
https://waymo.com/safety/
https://en.wikipedia.org/wiki/World_model	https://lv.wikipedia.org/wiki/Pasaules_modelis
https://en.wikipedia.org/wiki/Autonomous_car	https://lv.wikipedia.org/wiki/Autonomā_automašīna
https://en.wikipedia.org/wiki/Simultaneous_localization_and_mapping	https://lv.wikipedia.org/wiki/Vienlaicīga_lokalizācija_un_kartēšana
←
Previous Post
→ Sixteen AI agents built a C compiler together — why that matters (and what it doesn’t mean yet)	→ Sešpadsmit mākslīgā intelekta aģenti kopīgi izveidoja C kompilatoru — kāpēc tas ir svarīgi (un ko tas vēl nenozīmē)
Copyright © 2026 Rill.blog	Autortiesības © 2026 Rill.blog
oEmbed (JSON)
oEmbed (XML)
JSON
View all posts by Abdul Jabbar	Skatīt visus Abdula Džabara ierakstus
Sixteen AI agents built a C compiler together — why that matters (and what it doesn't mean yet)	Sešpadsmit mākslīgā intelekta aģenti kopā izveidoja C kompilatoru — kāpēc tas ir svarīgi (un ko tas vēl nenozīmē)
Waymo is reportedly using a Genie 3-style system to build a world model for autonomous driving. Here’s what world models are, why simulation matters, and the remaining safety gaps.	Tiek ziņots, ka Waymo izmanto Genie 3 stila sistēmu, lai izveidotu pasaules modeli autonomai braukšanai. Lūk, kas ir pasaules modeļi, kāpēc simulācija ir svarīga un kādas ir atlikušās drošības nepilnības.

Document Title

Waymo and the rise of “world models” for driving: what a Genie-style simulator changes

Waymo is reportedly using a Genie 3-style system to build a world model for autonomous driving. Here’s what world models are, why simulation matters, and the remaining safety gaps.

Title Attribute

oEmbed (JSON)

oEmbed (XML)

JSON

View all posts by Abdul Jabbar

Sixteen AI agents built a C compiler together — why that matters (and what it doesn't mean yet)

Page Content

Waymo and the rise of “world models” for driving: what a Genie-style simulator changes

Blog

General

/ By

Abdul Jabbar

Self-driving systems live and die by one question:

what happens next?

Sensors tell an autonomous vehicle what the world looks like right now — camera frames, lidar point clouds, radar reflections, GPS and IMU measurements. But safe driving is anticipation: predicting how pedestrians might move, whether a cyclist will merge, how a car might drift over a lane line, and what an occluded intersection might reveal.

That’s where the idea of a

world model

comes in. A world model is a learned representation of “how the world works” that can be rolled forward in time: given the current scene and an action, it can generate plausible future scenes. In robotics and autonomy, the dream is to have a model that can simulate reality well enough to train and validate policies before they ever touch public roads.

Reports that Waymo is leveraging a

Genie 3

–style approach to create a world model for driving are a big deal — not because it magically solves autonomy, but because it signals a shift in what the industry thinks is the bottleneck.

Driving autonomy is two problems: perception and prediction

Early conversations about self-driving focused on perception: “Can the car see?” That includes detecting objects, classifying them, estimating their position and velocity, and tracking them over time.

Today, the frontier is increasingly prediction and planning:

Prediction

: forecasting the future trajectories of other agents (cars, bikes, pedestrians).

Planning

: choosing the vehicle’s own trajectory to be safe, legal, and comfortable.

Perception errors are still important, but even perfect perception doesn’t give you certainty about intent. A pedestrian at a curb might step out. A driver might run a red light. A cyclist might wobble.

A world model aims to encode those uncertainties so the planner can reason about them.

What is a “world model” in ML terms?

In machine learning, a world model is typically a generative model trained on large volumes of experience. It can:

Represent the latent state of the environment.

Predict how the state evolves.

Generate observations consistent with that evolution.

For driving, the observations are multi-modal: images, lidar, maps, and semantic labels.

The core value is that, once trained, you can

sample futures

and stress-test decisions. Instead of asking “what is the one predicted path,” you ask “what are the plausible paths, and which ones are dangerous?”

Why simulation is central (and why it’s so hard)

Waymo and others already rely heavily on simulation. The problem is fidelity.

Traditional simulators are built from:

Hand-authored physics and vehicle dynamics.

Scene assets (roads, buildings, traffic lights).

Scripted “actors” that follow rules.

These are great for many tests, but the long tail of reality is brutal: odd pedestrian behavior, unusual lighting, construction zones, rare signage, local driving cultures, weather edge cases, sensor glitches, and the million subtle interactions that never show up in a tidy rule set.

A learned world model is attractive because it can capture messy distributions directly from data. If you have enough real driving logs, you can train a model to generate scenes that “feel” like the road — including the weirdness.

But “feels real” is not enough for safety. Driving is adversarial: if your model misses even a small set of rare but deadly scenarios, the system can still fail.

What a Genie-style approach suggests

A Genie-style system (as reported) implies a model that can generate plausible future frames conditioned on actions and context.

If Waymo can generate high-fidelity “next frames” for complex urban scenes, it can potentially:

Create

counterfactuals

: “What if we had slowed earlier?” “What if we took the left gap?”

Increase

rare-event coverage

: oversample uncommon situations for training.

Improve

closed-loop training

: train a policy inside the simulated world, not just on logged data.

This is a step beyond “replaying recorded logs.” It’s like moving from watching driving videos to having a sandbox where the sandbox itself behaves like a city.

The safety catch: model errors compound

There’s a reason safety teams are cautious about learned simulators: small errors compound over time.

If a world model is slightly wrong about:

How pedestrians accelerate,

How cars respond to braking,

How sensors behave under glare,

then a simulated rollout can drift away from reality after a few seconds. That can produce training signals that optimize for the simulator’s quirks rather than the real world — a problem sometimes called

sim-to-real gap

Modern approaches mitigate this with:

Short-horizon rollouts combined with real logs.

Domain randomization (adding noise and variation).

Validation against held-out real scenarios.

Safety constraints that don’t rely purely on learned predictions.

A world model can be incredibly useful even if it’s not “perfect reality,” as long as you know where it’s reliable and where it’s not.

World models and maps: the structure under the pixels

A self-driving car isn’t only reacting to images. It also relies on structure:

HD maps (lane geometry, traffic control devices).

Localization (where am I on the map?).

SLAM-like components in some systems (especially outside mapped regions).

A strong world model has to integrate that structure. Otherwise it becomes a fancy video generator that can’t maintain consistent geometry.

This is why autonomy world models often blend:

Learned perception features,

Explicit geometry constraints,

Map priors,

Agent-based representations (other road users as entities with intentions).

The best systems are hybrid: they use learning where data is rich and rules where constraints are strict.

What changes for product development

The most practical impact of a good world model is

engineering velocity

Today, improving an autonomous driving stack often requires:

Finding real-world failures (disengagements, near misses).

Adding data and labels.

Tuning prediction/planning.

Revalidating across huge scenario suites.

If a world model can generate realistic variations of the failure, engineers can iterate faster. It can also help answer questions like:

“Is this behavior safe across a distribution, or was it lucky in one log?”

“How sensitive is the system to pedestrian hesitation?”

“What is the worst-case outcome if another driver behaves aggressively?”

Faster iteration is not a guarantee of safety — but it can improve the feedback loop.

The big open questions

Even if the world model is excellent, there are hard limits:

Accountability

: Can you explain why the system predicted a given future?

Validation

: How do you certify a learned simulator as representative?

Edge cases

: How do you ensure rare but critical scenarios are covered?

Policy robustness

: Does a policy trained in the model behave safely in reality?

This is where regulators and safety cases come in. Autonomous vehicles will need arguments that connect training and testing methods to real-world risk.

Bottom line

A high-fidelity world model is a powerful tool for autonomy because it turns driving from “learn only from what happened” into “learn from what could happen.” If Waymo can use a Genie 3–style system to generate realistic future road scenes, it could accelerate training, scenario testing, and safety evaluation — but the hard part remains proving that the simulated world is faithful enough that improvements carry over to real streets.

Sources

https://arstechnica.com/google/2026/02/waymo-leverages-genie-3-to-create-a-world-model-for-self-driving-cars/

https://waymo.com/safety/

https://en.wikipedia.org/wiki/World_model

https://en.wikipedia.org/wiki/Autonomous_car

https://en.wikipedia.org/wiki/Simultaneous_localization_and_mapping

←

→ Sixteen AI agents built a C compiler together — why that matters (and what it doesn’t mean yet)

oEmbed (JSON)

oEmbed (XML)

JSON

View all posts by Abdul Jabbar

Sixteen AI agents built a C compiler together — why that matters (and what it doesn't mean yet)

Waymo is reportedly using a Genie 3-style system to build a world model for autonomous driving. Here’s what world models are, why simulation matters, and the remaining safety gaps.

Document Title
Page not found - Rill.blog
Image Alt
Rill.blog
Title Attribute
Rill.blog » Feed
RSD
Skip to content
Placeholder Attribute
Search...
Email address
Page Content
Page not found - Rill.blog
Skip to content
Home
Read Now
Urdu Novels
Mukhtasar Kahanian
Urdu Columns
Main Menu
This page doesn't seem to exist.	Šķiet, ka šī lapa neeksistē.
It looks like the link pointing here was faulty. Maybe try searching?	Izskatās, ka saite, kas norāda uz šejieni, bija kļūdaina. varbūt pa meklēt?
Search for:
Search
Get all the latest news and info sent to your inbox.	Saņemiet visas jaunākās ziņas un informāciju savā iesūtnē.
Please enable JavaScript in your browser to complete this form.	Lūdzu, iespējojiet JavaScript savā pārlūkprogrammā, lai apstiprinātu šo veidlapu.
Email
*
Subscribe
Categories
Copyright © 2025 Rill.blog	Autortiesības © 2025 Rill.blog
English
العربية
Čeština
Dansk
Nederlands
Eesti
Suomi
Français
Deutsch
Ελληνικά
Magyar
Bahasa Indonesia
Italiano
日本語
한국어
Latviešu valoda
Lietuvių kalba
Norsk bokmål
Polski
Português
Română
Русский
Slovenčina
Slovenščina
Español
Svenska
ไทย
Türkçe
Українська
Tiếng Việt
Notifications
Rill.blog
Rill.blog » Feed
RSD
Search...
Email address

Document Title

Page not found - Rill.blog

Image Alt

Rill.blog

Title Attribute

Rill.blog » Feed

RSD

Placeholder Attribute

Search...

Email address

Page Content

Page not found - Rill.blog

Home

Read Now

Urdu Novels

Mukhtasar Kahanian

Urdu Columns

Main Menu

This page doesn't seem to exist.

It looks like the link pointing here was faulty. Maybe try searching?

Search for:

Get all the latest news and info sent to your inbox.

Please enable JavaScript in your browser to complete this form.