Stanford és Caltech kutatói GPT-6 Astrával takarítottak egy ismeretlen konyhában

A Stanford és a Caltech kutatói HomeBody néven olyan rendszert építettek, amelyben egy Unitree G1 humanoid robot idegen konyhában önállóan navigál, rendet rak, és fiókokból vesz ki tárgyakat. A kísérlet azt vizsgálja, mennyire lehet a GPT-6 Astrát közvetlenül robotokhoz kapcsolni.

A HomeBody elhagyja a nyelvi modell és a gép közé szokás szerint beiktatott, külön betanított vezérlőréteget. Helyette egy cserélhető látás-nyelvi modell — itt a GPT Astra — közvetlenül hív egy bővíthető készségkönyvtárat, amelyben fogás, navigáció és fióknyitás is van. A robot először bejárja a helyiséget, az Nvidia Isaac Simben digitális ikret épít, a tárgyakat és a helyüket térbeli memóriában rögzíti. Így akkor is megtalálja őket, ha már nincsenek a látómezőjében. Olyan feladatnál, mint a konyha rendberakása, a nyelvi modell lépésenként tervez, és hibánál önmagát javítja.

A korlátok között van az Astra késleltetése, az ujjakat mozgató szervók túlmelegedése és a magas számítási költség. A kód GitHubon elérhető. Korábbi mérések szerint az Astra térbeli következtetése jelentősen javult; egy másik vizsgálat biztonsági problémákat jelzett, ha az Astra robotot irányít. Az OpenAI bejelentette, hogy visszatér a robotikába, személyes használatra is.