Učení v simulaci: jak roboti získávají nové dovednosti dřív, než se dotknou podlahy

Trénink sim-to-real znamená, že se robot naučí dovednost ve fyzikální simulaci prostřednictvím obrovského počtu pokusů a výsledný řídicí software se poté nahraje do skutečného stroje. Vývojáři takto pracují, protože cvičení v simulaci je rychlé, levné a nepoškozuje hardware. Obtížné je překlenutí propasti mezi simulací a realitou (reality gap): žádný simulátor není dokonalý, a proto ho inženýři záměrně obměňují, aby byly dovednosti odolné.

Tento výklad popisuje, jak metoda funguje, jaký výzkum za ní stojí, jak výrobci doručují naučené dovednosti robotům, kteří už pracují v terénu, a co tento přístup stále nezvládá.

Proč se roboti cvičí v simulátoru

Většina naučených dovedností robotů dnes vzniká pomocí zpětnovazebního učení (reinforcement learning). Robot, přesněji jeho softwarový model, vyzkouší nějakou akci, dostane hodnocení od takzvané funkce odměny (například body za pohyb vpřed a postih za pád) a postupně upravuje neuronovou síť tak, aby se akce s vyšším hodnocením stávaly pravděpodobnějšími. Společnost Boston Dynamics v příspěvku z roku 2024 o zpětnovazebním učení pro robota Spot výstižně shrnuje, v čem spočívá přitažlivost tohoto přístupu: inženýři především potřebují umět nasimulovat situace, na kterých jim záleží, a definovat, jak vypadá dobrý výkon.

Provádět to na skutečném hardwaru by bylo pomalé a ničivé. Kráčející robot, který se učí metodou pokusu a omylu, spadne tisíckrát a každý pád stojí čas, opotřebení a opravy. V simulátoru může na grafických procesorech souběžně cvičit mnoho virtuálních kopií robota.

Zrychlení je dramatické. V článku z roku 2021 uvedl Nikita Rudin se spolupracovníky, že chůzi čtyřnohého robota ANYmal natrénovali na rovném povrchu za méně než čtyři minuty a na nerovném terénu zhruba za dvacet minut, a to na jediném pracovním GPU, a výsledek poté spustili na skutečném robotovi. Podobnou věc uvádí Boston Dynamics o svém humanoidu: v příspěvku o tom, jak učili Atlase fotbalový trik, společnost tvrdí, že paralelní simulace na GPU v cloudu poskytne Atlasovi ekvivalent jednoho roku fyzického zkoušení metodou pokusu a omylu za 24 hodin.

Propast mezi simulací a realitou

Simulátor je zjednodušený model světa. Tření, reakce elektrických motorů pod zátěží, pružnost gumové chodidlové podrážky, šum senzorů, drobná zpoždění v komunikaci i osvětlení jsou jen aproximovány. Neuronová síť natrénovaná v takovém modelu ochotně využije jakoukoli zvláštnost, kterou v něm najde. Pokud simulované chodidlo přilne o něco lépe než skutečné, může se naučená chůze o tuto přilnavost opírat a na skutečné podlaze uklouznout.

Rozdíl mezi tím, jak si dovednost vede v simulaci a jak na hardwaru, výzkumníci nazývají reality gap, česky propast mezi simulací a realitou (sim-to-real gap). Velká část pokroku za posledních deset let spočívala v jejím zmenšování, buď tím, že se simulátory stávají věrnějšími, nebo tím, že se naučená dovednost stává vůči rozdílům lhostejnou.

Randomizace domén: trénink pro svět, který není nikdy úplně stejný

Nejrozšířenější technikou je randomizace domén (domain randomisation). Inženýři se nesnaží vytvořit jediný dokonalý simulátor, ale sestaví celou skupinu mírně odlišných simulátorů a trénují napříč všemi. Úvaha je taková, že pokud si dovednost poradí s širokým rozptylem variant, bude jí skutečný svět připadat jako další z nich.

Raná ukázka pochází z článku Josha Tobina a spolupracovníků z roku 2017. Náhodně měnili textury a vykreslování simulovaných scén a detektor objektů trénovali výhradně na těchto syntetických snímcích. Podle autorů pak na skutečných snímcích z kamery určil polohu objektů s přesností 1,5 cm, zvládl rušivé objekty i částečné zakrytí a byl dost dobrý na to, aby řídil robota při uchopování předmětů v změti jiných věcí.

U pohybu se stejná myšlenka uplatňuje na fyziku, často se mluví o randomizaci dynamiky: hmotnost těla, tření, síla motorů a zpoždění reakce se mění z jednoho tréninkového pokusu na další. Vývojáři během tréninku často přidávají náhodné strčení, aby se robot naučil zotavit.

Dalším zdokonalením je nechat systém rozšiřovat rozptyl variací samotný. Práce společnosti OpenAI s Rubikovou kostkou z roku 2019 zavedla automatickou randomizaci domén, která s tím, jak se strategie řízení zlepšuje, plynule zvětšuje rozsah náhodně měněných podmínek. Tým ji použil k tomu, aby robotickou ruku, natrénovanou celou v simulaci, naučil na skutečném hardwaru manipulovat s Rubikovou kostkou a složit ji.

Co ukázal výzkum

Za milníky pro kráčející roboty se často označují dva články v časopise Science Robotics.

V roce 2019 Jemin Hwangbo se spolupracovníky natrénoval strategie pohybu robota ANYmal v simulaci a přenesl je na skutečného čtyřnohého robota. Podle článku robot přesně a energeticky úsporně plnil příkazy k rychlosti, běžel rychleji než s původním řídicím systémem a zotavoval se z pádů, včetně těch z nepříjemných poloh.

V roce 2024 zveřejnil tým Google DeepMind vedený Tuomasem Haarnojou výsledky miniaturního humanoida hrajícího fotbal. Robot s 20 poháněnými klouby byl v simulaci natrénován na zjednodušenou hru jeden na jednoho a na skutečného robota byl přenesen bez dalšího tréninku, což výzkumníci nazývají přenos zero-shot. Ve srovnání se skriptovaným základním řídicím systémem podle autorů chodil o 181 % rychleji, otáčel se o 302 % rychleji, po pádu mu vstávání trvalo o 63 % kratší dobu a míč kopl o 34 % rychleji. Za podstatné považují tři složky: vysokou řídicí frekvenci, cílenou randomizaci dynamiky a rušivé zásahy během tréninku.

Jde o výsledky výzkumu na konkrétních robotech v kontrolovaném prostředí. Robot DeepMind byl malý a hrál na připraveném hřišti; čísla se vztahují ke skriptovanému řídicímu systému, nikoli k člověku nebo jiným humanoidům.

Proč mohou nové pohyby přijít v aktualizaci softwaru

Po dokončení tréninku je naučená dovednost v podstatě soubor: váhy neuronové sítě, která mnohokrát za sekundu převádí údaje ze senzorů na příkazy pro motory. Motory, senzory i konstrukce zůstávají stejné. Proto může výrobce přidat nebo zlepšit chování, aniž by se dotkl hardwaru.

Přesně tuto cestu popsal Boston Dynamics u robota Spot. Jeho strategie pohybu byla natrénována ve více než milionu simulací, ověřena proti simulovaným zkouškám se stoupající obtížností a před vydáním testována na interní flotile, která zaznamenala více než 2 000 hodin testování týdně. Stávající zákazníci zlepšení obdrželi s aktualizací softwaru Spot 4.0 a společnost uvádí, že strategii dále zdokonaluje na základě dat z flotily.

U Atlase popisuje Boston Dynamics třífázový postup u jeho fotbalového triku, vytvořeného pro kampaň Hyundai před mistrovstvím světa ve fotbale FIFA 2026: pohyb hráče byl zaznamenán optickým snímáním pohybu, přizpůsoben odlišným proporcím robotova těla a poté zdokonalen zpětnovazebním učením v simulaci. Společnost uvádí, že u téměř všech dovedností Atlase fungovala naučená strategie na robotovi napoprvé. Všimněte si slova téměř.

Také nástroje se stále více sjednocují. Článek o Isaac Lab od společnosti NVIDIA, zveřejněný v listopadu 2025 s více než 100 přispěvateli, představuje tento otevřený rámec jako nástupce Isaac Gym. Spojuje fyziku a vykreslování zrychlené na GPU, modely pohonů, simulaci senzorů a zabudovanou randomizaci domén a autoři ukazují jeho využití od řízení celého těla až po jemnou manipulaci. Související softwarový celek popisuje náš článek o NVIDIA Isaac GR00T a Jetson Thor.

Meze, které stojí za to znát

Trénink sim-to-real je výkonný, ale z robotů nedělá univerzální stroje.

• Dovednost je tak odolná, jak dobrý byl její trénink. Strategie zažila jen ty varianty, které vývojáři nasimulovali. Podlaha, svah, kabel nebo dav, které nikdy nebyly namodelovány, leží mimo její zkušenost.
• Přenos není zaručen. I výrobci, kteří metodu hojně používají, popisují fázi ověřování na skutečném hardwaru a některé dovednosti vyžadují další doladění.
• Kontakt s lidmi a měkkými předměty se simuluje obtížně. Chůze a rovnováha jsou poměrně dobře pochopeny; manipulace s různorodými předměty nebo fyzická interakce s lidmi se modeluje mnohem hůře.
• Naučené řídicí systémy se hůře kontrolují. Neuronová síť nemá čitelný seznam pravidel, a proto jsou důležité testování a bezpečnostní limity kolem ní.
• Předváděcí kousky se liší od běžné práce. Natrénovaný kop, salto nebo tanec ukazuje, co řídicí systém dokáže za podmínek, pro které byl natrénován a testován, nikoli že bude stejně dobře fungovat kdekoli.

K mechanice udržení vzpřímené polohy si přečtěte náš výklad o tom, jak humanoidní roboti udržují rovnováhu.

Co to znamená pro pořadatele akcí

• Nové pohyby jsou často otázkou softwaru, nikoli hardwaru. Pokud chcete konkrétní pohyb, zeptejte se, zda již existuje v softwaru robota, nebo by vyžadoval nový vývoj, a počítejte s dodacími lhůtami popsanými v našem průvodci vlastními pohyby a choreografií.
• Ptejte se, kde byl pohyb testován. Dovednost ověřená v laboratoři nebo na filmovém place se může na podlaze vašeho místa konání chovat jinak. Do zadání pro dodavatele uveďte povrch, prostor a vzdálenost publika.
• Zkontrolujte verzi softwaru před dnem akce. Aktualizace od výrobce mohou změnit, jak robot chodí nebo se pohybuje. Dodavatelé by měli otestovat přesně tu verzi, kterou na vaší akci použijí, a vyhnout se aktualizaci na poslední chvíli.
• Počítejte s propastí mezi simulací a realitou. Naučené dovednosti mohou v neznámých podmínkách stále selhat, proto si předem dohodněte záložní řešení, jak je popsáno v části co se stane, když robot selže.

Časté otázky

Co znamená sim-to-real v robotice?

Sim-to-real označuje trénink dovednosti robota v počítačové simulaci a následný přenos výsledného řídicího softwaru na fyzického robota. Robot si úkol mnohokrát nacvičuje ve virtuálním světě podle hodnocení odměnou a hotová neuronová síť se nahraje do skutečného stroje. Hlavním problémem je propast mezi simulací a realitou: rozdíly mezi simulovaným a skutečným světem, kvůli nimž se dovednost na hardwaru může chovat jinak.

Co je randomizace domén?

Randomizace domén je technika, která činí trénink v simulaci odolnějším. Vývojáři nepoužívají jediný pevný simulátor, ale jeho nastavení mění od pokusu k pokusu, například textury a osvětlení pro vidění, nebo hmotnost, tření, sílu motorů a zpoždění pro pohyb. Dovednost, která si poradí s takovým rozptylem podmínek, má větší šanci fungovat ve skutečném světě, který se robotovi jeví jako další z variant.

Může se robot naučit nový tanec nebo pohyb pomocí aktualizace softwaru?

Často ano. Naučený pohyb je uložen jako software, takže výrobce nebo dodavatel může chování přidat nebo zlepšit bez změny hardwaru. Boston Dynamics například doručil stávajícím majitelům robota Spot řídicí systém chůze natrénovaný v simulaci formou aktualizace softwaru. Nové pohyby je přesto nutné vyzkoušet na skutečných robotech a vlastní choreografie pro konkrétní akci vyžaduje čas na vývoj a zkoušky.

Zajišťuje trénink v simulaci bezpečnost robotů v blízkosti veřejnosti?

Ne, sám o sobě ne. Simulace umožňuje vývojářům bez rizika testovat mnoho scénářů, ale naučená dovednost odráží jen podmínky, které byly namodelovány. Davy, neobvyklé podlahy a fyzický kontakt s lidmi se těžko simulují přesně. Bezpečný provoz na akcích stále závisí na bezpečnostních limitech výrobce, proškolených operátorech, jasně stanovených vzdálenostech mezi robotem a návštěvníky a posouzení rizik v daném místě.

Jak článek vznikl: napsala ho redakce humanoid4rent s pomocí AI; každé faktické tvrzení jsme 2026-10-31 ověřili ve zdrojích uvedených níže. Našli jste chybu? Napište na info@humanoid4rent.com.