Kapag ang mga flagshipp na modelo ng tatlong malalaking AI giant na OpenAI, Anthropic at Google ay nagharap sa isang labanan, sino kaya ang mas mahusay magmaneho ng robot?
Noong Oktubre 20, inilabas ng RoboColiseum, isang embodied arena na pinagsamang inilunsad ng halos 20 unibersidad, kumpanya at institusyong pananaliksik sa buong mundo kabilang ang Mifeng Technology, Hugging Face, NVIDIA at Tsinghua University, ang resulta ng evaluasyon sa round na ito: ang Claude Opus 5.5 ay nanguna sa kabuuang ranggo ng apat na flagshipp na modelo, sinundan ng GPT-6 Astra.
Sa pagtingin sa bawat kategorya, sa apat na flagshipp na modelo, nanguna ang GPT-6 Astra sa pagsunod sa instruksyon at pangkalahatang pag-angkop sa perturbation, kung saan umabot sa 99.35 ang iskor nito sa pagsunod sa instruksyon; mas mahusay ang Opus sa pag-unawa sa espasyo at pangkalahatang operasyon, at nakuha ang unang puwesto sa kabuuang ranggo ng flagshipp group gamit ang pinakamababang konsumo ng token sa buong round ng evaluasyon. Sa test kung saan na-perturb ang kalidad ng imahe, malinaw na nahuli ang GPT-6.1 Sol kumpara sa iba pang tatlong modelo, na nagpapakita ng pagkakaiba sa stability ng iba't ibang modelo kapag humaharap sa pagbabago ng visual na impormasyon.
Ngunit ang nangungunang dalawa sa kabuuang ranggo sa round na ito ay nananatiling hawak ng mga embodied policy model, lalo na sa dimensyon ng pangkalahatang operasyon kung saan pinapanatili nila ang kalamangan.
Ang pagharap na ito sa iisang entablado ay nagbibigay ng direktang sanggunian para sa industriya upang makita nang malinaw ang mga bentahe at kahinaan ng kakayahan ng pangkalahatang malalaking modelo at ng mga embodied policy model.
Ang RoboColiseum ay naglulunsad ng apat na kategorya ng sub-ranking ng kakayahan at 78 high-fidelity simulation evaluation task na nakasentro sa pagsunod sa instruksyon, pag-unawa sa espasyo, pag-angkop sa perturbation at pangkalahatang operasyon, na nagpapakita hindi lamang ng performance ng modelo sa bawat kategorya kundi nagtatala rin ng mga hakbang sa pagkumpleto ng gawain at lokasyon ng pagkabigo, upang matulungan ang mga developer na mabilis na matukoy ang mga kahinaan sa kakayahan ng modelo.
Bilang kasamang naglunsad, nagbibigay ang Mifeng ng high-fidelity na object asset at simulation scenario para sa RoboColiseum, sumusuporta sa pagbuo ng evaluation environment para sa mga kumplikadong gawain sa operasyon ng robot, at nagbibigay ng pangunahing resources para sa pagsubok ng kakayahan ng modelo sa ilalim ng iba't ibang interaksyon ng object, spatial layout at kondisyon ng environment.
Ang tanong kung ang iskor ng modelo sa simulation ay makapagpapakita ng tunay na performance sa operasyon ay susi rin sa evaluasyon. Ayon sa aktwal na resulta ng pagsukat na inilabas ng platform, ang korelasyon ng RoboColiseum simulation evaluation sa real-machine deployment ay umabot sa 89.5%, at ang pagkakaiba ng evaluasyon ng parehong modelo sa simulation at sa totoong mundo ay mas mababa sa 10%, na makapagbibigay ng sanggunian para sa screening ng modelo at pagtukoy ng problema bago pumasok ang mga developer sa real-machine testing.
Ang Mifeng Technology ay nagbibigay ng "kumpleto, mahusay at mabilis" na data supply system, na sumasaklaw sa tatlong pangunahing data paradigm: real-machine, simulation at walang katawan. Sa aspeto ng simulation, nagbibigay ang Mifeng ng dalawang uri ng resources—object asset at environment asset—na sumasaklaw sa iba't ibang pang-araw-araw na bagay at indoor scenario, at nagbibigay rin ng kakayahan tulad ng scene reconstruction, pagkuha ng expert trajectory data at visualization ng resulta ng evaluasyon, upang matulungan ang mga modelo team na magsagawa ng iba't ibang training at evaluasyon.
Ang Coliseum ay orihinal na tumutukoy sa sinaunang Romanong pabilog na arena, at ginagamit ng RoboColiseum ang imaheng ito upang bumuo ng multi-dimensional na sistematikong evaluation system, gamit ang simulation evaluation na mataas ang pagkakatugma sa real-machine performance, upang magtayo ng isang pampubliko, neutral at reproducible na "arena" at "training ground" para sa embodied intelligence model. Anumang unibersidad, institusyong pananaliksik o developer ng kumpanya ay maaaring magsumite ng kanilang modelo upang sumailalim sa isang standardized na "pagsusulit." Mula nang ilunsad noong Agosto, mahigit 100 team mula sa loob at labas ng bansa ang nagsagawa ng training at evaluasyon ng modelo sa platform.
Ang RoboColiseum ay bukas na ngayon sa mga developer sa buong mundo, at malugod na inaanyayahan ang mga modelo team na lumahok sa evaluasyon.
