Az Nvidia GR00T 2 modellje videókon tanulja az emberi mozdulatokat, majd átülteti robotkarokra
Az Nvidia GR00T 2 alapmodellje azzal rövidítené a robotok betanítását, hogy a drága, géptípusonként újra gyűjtendő távvezérlés helyett videókból viszi át az emberi kézmozdulatokat robotkarokra. Elődjétől, a GR00T 1-től eltérően nem kamera képét és nyelvi utasítást fordít közvetlenül motorparancsra: „world-action modelként” egyszerre számolja a következő mozgást és a közeljövő rövid videóját, például azt, hogyan kellene változni a látványnak, ha a kar felemel egy tárgyat. Ezzel a mozgássorok különböző robotformák között is átvihetők.
A rendszert több mint ezer GB300 chipes klaszteren, nagyjából 400 ezer óra fejre szerelt kamerás felvételen képezték. Új feladatnál a kutatók szerint elég kesztyűvel, speciális markolóval vagy ujj-exoskeletonnel bemutatni a lépéseket; a célrobot általános mozgásadataival együtt a modell a videóelőrejelzésben már robotkart mutat az emberi kar helyett, és abból vezeti le a vezérlést. Laborban ötujjas kézzel gyufát gyújtott, banánt szeletelt és csomagot dobott szalagra, anélkül, hogy ezekre távvezérelték volna. A siker 10 és 80 százalék között ingadozott; egyetlen kézmozdulatos videóból szimulációval szöget is ütött. Ötven, már kevés példára jól működő feladatnál három percnél rövidebb hagyományos tréning 40-ről 95 százalékra emelte a sikerarányt.
Hosszabb összeszereléshez a GR00T 2-t felsőbb szintű nyelvi modellel, például az OpenAI GPT-6 Astrájával párosítják: az előbbi a fogást, az utóbbi a lépésekre bontást, a fogáspontok színezését és a leeső alkatrész utáni rutinokat intézi. Összekevert játékalkatrészeknél a kombinált rendszer legalább 97 százalékban összerakott; nyelvi modell és finomhangolás nélkül a játékautó 100-ból 23-szor sikerült. Hálózati kábelt és töltőt valós eszközön, próbálkozással tanítottak. Emberszabásúakra a karcsúsított GR00T 2 Turbo a Jetson Thor fedélzeti számítógépen fut; pattogatott kukoricát merített, asztalt pakolt, láb alatt törölte a folyadékot, utóbbi alig a próbák felében. Érintési szenzort még nem használ, félrecsavart csavart elnézhet; hulladékválogatásnál az idő nagyjából egyharmadában állt, mert a tervezőmodellre átlagosan több mint hét másodpercet várt.
Folytasd az appban — szavazz és szólj hozzá ➔