Modely vision-language-action: jak RT-2, π0, Helix a Gemini Robotics řídí roboty

Model vision-language-action (VLA) je systém umělé inteligence, který přijímá obraz z kamer a psaný nebo mluvený pokyn a přímo z nich vytváří pohyby robota. Místo aby inženýr naprogramoval každý pohyb, se model učí z internetových dat a zaznamenaných demonstrací. Google DeepMind, Physical Intelligence i Figure takové modely od roku 2023 zveřejnily, žádný z nich však zatím nenahrazuje secvičenou rutinu na akci.

Od skriptů k naučenému chování

Většina robotů, kteří se dnes objevují na akcích, funguje na kombinaci předprogramovaných pohybových sekvencí a živého dálkového ovládání. Zamávání, tanec nebo přesun na vyznačené místo se předem navrhne, otestuje a přehraje. Pokud se stane něco nečekaného, převezme řízení lidský operátor. Náš průvodce teleoperovanými a autonomními roboty vysvětluje, jak to vypadá z pohledu diváků.

Modely VLA míří jinam. Robot se nedrží pevného seznamu poloh kloubů, ale prohlédne si scénu, přečte pokyn, například „polož červený hrnek na podnos“, a pohyby si odvodí sám. Tentýž model má zvládat mnoho úloh a předmětů, na které nebyl výslovně naprogramován.

Proto se tento pojem stal ústředním v oznámeních o humanoidních robotech. Proto také je třeba taková tvrzení číst opatrně: výzkumná ukázka v laboratorní kuchyni není totéž co spolehlivé chování v přeplněné výstavní hale.

Co znamenají tři slova v názvu

Název popisuje vstupy a výstup:

• Vision (vidění): model dostává obraz z kamer robota.
• Language (jazyk): dostává pokyn v přirozeném jazyce a obvykle vychází z modelu, který již byl natrénován na velkém množství textů a obrázků z internetu.
• Action (akce): místo textové odpovědi vytváří příkazy pro motory, například kam se má příště pohnout paže nebo chapadlo.

Klíčovou myšlenkou je opětovné využití. Model pro zpracování obrazu a jazyka už ví, jak vypadá hrnek, banán nebo kontejner na tříděný odpad a jak je lidé popisují. Výzkumníci jej pak dále trénují na záznamech robotů při plnění úloh, které často pořídili lidé řídící robota na dálku. Model se učí propojovat to, co vidí a co mu bylo řečeno, s tím, co má robot udělat.

RT-2: akce zapsané jako text

Google DeepMind představil RT-2 dne 28. července 2023 a popsal jej jako model vision-language-action. Podle oznámení RT-2 od Google DeepMind tým upravil existující modely pro obraz a jazyk a každou akci robota vyjádřil jako krátký řetězec čísel, se kterým se zachází jako se slovy ve větě. Čísla kódují například změny polohy, otočení a to, zda se má chapadlo otevřít, nebo zavřít.

Data z robotů pocházela z demonstrací zaznamenávaných po dobu 17 měsíců na 13 robotech v kancelářské kuchyni a byla doplněna o rozsáhlá webová data s obrázky a otázkami s odpověďmi. Google DeepMind uvedl, že RT-2 uspěl v 62 % testovaných scénářů, které při trénování neviděl, zatímco jeho předchůdce RT-1 jen ve 32 %. Model také předvedl jednoduché usuzování, například výběr předmětu, který se dal použít jako provizorní kladivo.

RT-2 stanovil základní postup, ovládal však jednoramenného robota v poměrně řízeném prostředí a úspěšnost zhruba v šesti případech z deseti je od toho, co vyžaduje živá akce, hodně daleko.

π0 a π0.5: plynulejší, nepřetržitý pohyb

Start-up Physical Intelligence zveřejnil π0 (čti „pí nula“) dne 31. října 2024. Oznámení π0 popisuje model pro obraz a jazyk o 3 miliardách parametrů, rozšířený o techniku zvanou flow matching, která místo tokenů podobných textu vytváří plynulé pohybové příkazy. Společnost uvádí, že π0 dokáže vydávat příkazy pro motory až 50krát za sekundu, což je důležité pro jemné úlohy, jako je skládání prádla.

Model π0 byl trénován na datech z osmi různých typů robotů, včetně jednoramenných i dvouramenných sestav a mobilních platforem, a také na otevřených datových sadách. Mezi předvedené úlohy patřilo skládání oblečení, uklízení stolu a sestavování krabice. Společnost sama napsala, že univerzální strategie řízení robotů jsou stále v plenkách.

Dne 22. dubna 2025 navázala Physical Intelligence modelem π0.5. Oznámení π0.5 se zaměřuje na práci v domácnostech, které nebyly součástí trénovacích dat, s úlohami, jako je úklid kuchyně nebo ustýlání postele. Model nejprve rozhodne o dalším kroku vyjádřeném slovy a poté pro něj vytvoří pohyby. Physical Intelligence otevřeně uvádí, že π0.5 má k dokonalosti daleko a často chybuje, a to jak v tom, co se rozhodne udělat, tak v tom, jak se pohybuje.

Helix: rychlý a pomalý systém v jednom humanoidovi

Společnost Figure představila Helix dne 20. února 2025 jako model VLA pro své humanoidní roboty. Jak popisuje příspěvek Figure o Helixu, rozděluje práci na dvě části:

• Systém 2, model pro obraz a jazyk o 7 miliardách parametrů, který interpretuje scénu a pokyn 7 až 9krát za sekundu.
• Systém 1, mnohem menší model o 80 milionech parametrů, který toto porozumění převádí na příkazy pro motory frekvencí 200krát za sekundu pro 35 stupňů volnosti.

Myšlenka spočívá v tom, že robot o cíli přemýšlí pomalu, ale na to, co dělají ruce a paže, reaguje rychle. Figure uvádí, že Helix běží na dvou GPU s nízkou spotřebou přímo v robotovi, byl trénován na zhruba 500 hodinách teleoperovaných demonstrací a pro všechna svá chování používá jednu sadu vah modelu. Ukázky zahrnovaly roboty, kteří zvedali dosud neviděné předměty z domácnosti, a dva roboty, kteří spolupracovali na společné úloze bez předem přidělených rolí.

Jde o ukázky samotných firem, nikoli o nezávislé testy. Pohled na to, jak byl prezentován pozdější hardware společnosti Figure, najdete v našem článku co záběry z Figure 03 skutečně ukazují.

Gemini Robotics: nejdřív uvažovat, pak jednat

Google DeepMind oznámil Gemini Robotics dne 12. března 2025. Oznámení Gemini Robotics jej popisuje jako model VLA postavený na Gemini 2.0, který přidává fyzické akce jako nový typ výstupu. Doprovodný model Gemini Robotics-ER se zaměřuje na prostorové porozumění a má pracovat společně s řídicím softwarem robotů, který píší vývojáři. Modely byly předvedeny na dvouramenné výzkumné platformě ALOHA 2, na ramenech Franka a na humanoidu Apollo od společnosti Apptronik.

Google DeepMind vyzdvihl tři cíle: zvládání nových situací, reakce na konverzační pokyny a změny ve scéně a obratné úlohy, jako je skládání origami. Zveřejnil také datovou sadu ASIMOV pro hodnocení sémantické bezpečnosti chování robotů, tedy toho, zda dává akce v daném kontextu smysl a zda se vyhýbá škodě.

Následovaly dvě aktualizace. Dne 24. června 2025 společnost představila Gemini Robotics On-Device, verzi, která běží přímo v robotovi bez připojení k síti a podle Google DeepMind ji lze přizpůsobit novým úlohám pomocí 50 až 100 demonstrací. Dne 25. září 2025 přidal Gemini Robotics 1.5 krok, v němž model před jednáním uvažuje v přirozeném jazyce, a ukázal, že dovednosti naučené na jednom robotovi lze přenést na jiné. V době tohoto oznámení byl model uvažování ER 1.5 nabídnut vývojářům prostřednictvím Gemini API, zatímco samotný model akcí zůstal dostupný jen vybraným partnerům.

Co modely VLA stále neumějí

U všech čtyř vývojářů zveřejněné materiály poukazují na stejná omezení:

• Spolehlivost: uváděná úspěšnost a výhrady samotných vývojářů ukazují, že tyto modely stále pravidelně selhávají, zejména v neznámém prostředí.
• Rozsah: většina ukázek se týká manipulace na stole nebo v domácnosti, nikoli chůze davem. Rovnováhu a pohyb po prostoru obvykle zajišťují samostatné regulátory; viz náš výklad jak humanoidní roboti udržují rovnováhu.
• Dostupnost: několik z těchto modelů jsou výzkumné systémy nebo se uvolňují jen partnerům, takže robot, kterého si můžete pronajmout, je pravděpodobně nepoužívá.
• Ověření: údaje o výkonu pocházejí od samotných firem. Nezávislých a srovnatelných testů pro reálné nasazení je zatím málo.

Bezpečnost se řeší ve vrstvách. Google DeepMind například popisuje kombinaci uvažování modelu o bezpečnosti se samostatnými nízkoúrovňovými bezpečnostními systémy. Samotný naučený model bezpečnost nezaručuje, a proto zůstávají nezbytné fyzické limity, operátoři a pravidla místa konání.

Co se mění u skriptovaného chování na akcích

Pro akce je praktická změna postupná. Choreografie, příchody na jeviště a časované proslovy budou nadále programovány a nacvičovány, protože se musejí pokaždé odehrát stejně. Náš průvodce individuálním programováním a choreografií popisuje, jaké jsou na to potřebné lhůty.

Modely VLA by se mohly nejdřív uplatnit v interaktivních okamžicích: podání předmětu hostovi, třídění předmětů na ukázkovém stole nebo reakce na nenaplánovanou žádost. Právě v těchto situacích jsou dnešní modely nejméně předvídatelné, takže každý dodavatel, který je nabízí, by měl umět vysvětlit, co je naučené, co je skriptované a kdo může zasáhnout.

Co to znamená pro pořadatele akcí

• Oznámení o modelech VLA berte jako výzkumný pokrok, nikoli jako popis toho, co bude pronajatý robot dělat na vaší akci.
• Zeptejte se dodavatelů, které části vystoupení jsou předprogramované, které autonomní a které teleoperované, a odpověď uveďte do svého zadání pro dodavatele.
• U jakékoli autonomní interakce v blízkosti hostů se ptejte, jak se robot zastavuje, jaké platí limity rychlosti a síly a kdo celý provoz sleduje.
• Zásadní okamžiky, například odhalení na jevišti, ponechte na secvičených rutinách s náhradním plánem.
• Tvrzení o naučeném chování nechte podložit živou zkouškou v místě konání, nikoli videem.

Časté otázky

Co je model vision-language-action jednoduše řečeno?

Je to model umělé inteligence, který se dívá na obraz z kamer, čte pokyn v běžném jazyce a vytváří pohyby, které má robot provést. Obvykle vychází z modelu natrénovaného na internetových textech a obrázcích a poté se učí ze záznamů robotů při plnění úloh. Cílem je jeden model, který zvládne mnoho úloh a předmětů, aniž by inženýr programoval každý pohyb zvlášť.

Jsou roboti k pronájmu na akcích dnes řízeni modely VLA?

Podle toho, co vývojáři zveřejnili, obecně ne. Modely jako Helix, π0 a Gemini Robotics se předvádějí hlavně ve výzkumu nebo ve firemních ukázkách a některé se uvolňují jen partnerům. Roboti najímaní na akce obvykle používají předprogramované rutiny v kombinaci s živým dálkovým ovládáním. Zeptejte se přímo dodavatele, jak je konkrétní robot pro vaši rezervaci řízen.

Čím se model VLA liší od chatbota v robotovi?

Chatbot vytváří text nebo řeč, takže robotovi umožní vést rozhovor, ale nehýbe jeho pažemi ani rukama. Model VLA vytváří příkazy pro motory, takže pokyn a pohled kamery přímo určují fyzický pohyb. Někteří roboti kombinují obojí: jazykový model pro konverzaci a samostatný software nebo naučený model pro pohyb.

Dělají modely VLA roboty bezpečnými v blízkosti lidí?

Žádný model sám o sobě robota bezpečným neučiní. Vývojáři jako Google DeepMind popisují kombinaci vlastního uvažování modelu o bezpečných akcích se samostatnými nízkoúrovňovými bezpečnostními systémy. Na akcích bezpečnost stále závisí na fyzických limitech, nouzových vypínačích, vyškolených operátorech, případných zábranách a pravidlech místa konání. Jde o obecnou informaci, nikoli o právní poradenství; požadavky si ověřte u provozovatele místa konání a u pojišťovny.

Jak článek vznikl: napsala ho redakce humanoid4rent s pomocí AI; každé faktické tvrzení jsme 2026-10-31 ověřili ve zdrojích uvedených níže. Našli jste chybu? Napište na info@humanoid4rent.com.