【導(dǎo)讀】7月15日，通用具身基礎(chǔ)模型公司智在無界BeingBeyond正式發(fā)布Being-M0.7——全球首個全身移動操作隱式世界動作模型(Latent WAM)。這不是一個只能讓機(jī)器人'看到'世界的模型，而是一個能讓機(jī)器人'理解'世界如何運(yùn)轉(zhuǎn)、并據(jù)此做出全身移動操作的模型。它打通了從視覺感知到全身移動、再到靈巧操作的完整鏈路，讓機(jī)器人不再局限于桌面及操作任務(wù)，而是成為真正具備人類全身協(xié)調(diào)能力的智能體。
Being-M0.7通過超 10000 小時的人類第一人稱視頻預(yù)訓(xùn)練和極小樣本真機(jī)適配，在'隱空間'(latent space)中，基于隱式視覺信息和運(yùn)動信息推演物理變化，讓機(jī)器人在真正理解物理世界的基礎(chǔ)上，通過全身移動操作與物理世界交互。
在被具體化為機(jī)器人可執(zhí)行的指令之前，模型先從大規(guī)模以人為中心的數(shù)據(jù)中學(xué)習(xí)了三項(xiàng)核心能力：視覺上下文理解、未來狀態(tài)預(yù)測、以及人形運(yùn)動學(xué)結(jié)構(gòu)的隱式表征。換言之，模型在“學(xué)會控制”之前，已經(jīng)先“學(xué)會了理解”。
論文鏈接：https://research.beingbeyond.com/being-m07
? 從Being-H到Being-M，智在無界持續(xù)引領(lǐng)隱式世界動作模型范式
智在無界是全球率先押注大規(guī)模人類視頻訓(xùn)練路線的具身智能企業(yè)，也是全球極少數(shù)同時布局通用靈巧操作與移動操作模型的創(chuàng)新公司，更是國內(nèi)首個推出原生隱空間世界動作模型的團(tuán)隊(duì)。
今年4月，智在無界發(fā)布了Being-H0.7，將數(shù)據(jù)規(guī)模擴(kuò)展至 20 萬小時人類第一人稱視頻。在 6 項(xiàng)國際性權(quán)威評測中，H0.7 綜合排名全球第一，同時也是首個覆蓋跨本體、跨場景、連續(xù)動態(tài)、流體、柔性物體、物理規(guī)律與上下文推理等七大關(guān)鍵維度的通用具身世界模型。
Being-M0.7是這一隱式世界動作模型路線的最新成果，也是全球首個將隱式世界動作模型能力從'桌面靈巧操作'擴(kuò)展到'全身移動操作'的模型。隱式世界動作模型讓機(jī)器人建立對物理世界的'內(nèi)心推演'：不只是識別眼前的物體，還要預(yù)判它們會如何運(yùn)動、如何相互作用、自己的動作會對環(huán)境產(chǎn)生什么后果。這些推演不需要生成任何像素畫面。模型在表征里直接'感知'到物理規(guī)律的存在，從而精準(zhǔn)輸出動作完成任務(wù)。
Being-M0.7 的四大 Demo 展示了這些能力：機(jī)器人基于對物理世界的理解，自主做出全身移動操作決策。
? 基于MoT架構(gòu)，Vision和Motion分工協(xié)作，實(shí)現(xiàn)高效數(shù)據(jù)利用
人形機(jī)器人的全身移動操作，不僅需要第一人稱視覺信息(Vision)來進(jìn)行空間感知，還需要理解自身在物理世界的位置、姿態(tài)，更需要結(jié)合空間感知進(jìn)行決策和規(guī)劃，輸出未來要執(zhí)行的運(yùn)動信息(Motion)。
但高質(zhì)量的Motion數(shù)據(jù)一般通過動捕獲得，成本較高；Vision與Motion對齊的配對數(shù)據(jù)更為稀缺。在這種情況下，如何充分利用所有可用數(shù)據(jù)，是實(shí)現(xiàn)人形機(jī)器人領(lǐng)域具身基礎(chǔ)模型規(guī)模化的關(guān)鍵。
智在無界選擇了MoT(Mixture-of-Transformers)這一混合Transformer多模態(tài)模型架構(gòu)。它的核心設(shè)計(jì)是：讓視覺和運(yùn)動各自有專門的'處理通道'，只在需要時交換信息。
它不僅可以處理Vision+Motion配對數(shù)據(jù)，還可以同時處理純Vision數(shù)據(jù)、純Motion數(shù)據(jù)，將這些數(shù)據(jù)高效融合利用。這不僅擴(kuò)大了可用數(shù)據(jù)規(guī)模，更容易規(guī)模化訓(xùn)練，也可以從概率建模角度理解為對聯(lián)合分布的邊際約束。Vision+Motion的配對數(shù)據(jù)充分發(fā)揮跨模態(tài)注意力的優(yōu)勢，非配對數(shù)據(jù)則各自貢獻(xiàn)于對應(yīng)的模態(tài)流，天然兼容模態(tài)不完備的真實(shí)世界數(shù)據(jù)。
與此同時，為了解決人類與機(jī)器人在本體形態(tài)上的根本差異，智在無界進(jìn)一步引入了一套統(tǒng)一的運(yùn)動表征，將人類運(yùn)動與人形機(jī)器人軌跡納入同一表示空間。相比于僅使用可執(zhí)行指令標(biāo)簽進(jìn)行監(jiān)督的傳統(tǒng)方案，這套共享表征提供了更豐富的后訓(xùn)練監(jiān)督信號——模型可以從人類數(shù)據(jù)中提取稠密的運(yùn)動級知識，而非僅依賴稀疏的任務(wù)標(biāo)簽。
另外，統(tǒng)一的運(yùn)動表征在推理階段建立了額外的運(yùn)動級反饋通路，為實(shí)現(xiàn)協(xié)調(diào)的全身控制提供了閉環(huán)支撐。
Being-M0.7 的預(yù)訓(xùn)練基于超過 10000 小時的人類第一人稱視頻數(shù)據(jù)及motion數(shù)據(jù)。在掌握了全身運(yùn)動空間中的協(xié)調(diào)模式后，真機(jī)數(shù)據(jù)只需將隱式世界模型映射到具體機(jī)器人的本體運(yùn)動學(xué)，即可完成基于視覺的移動操作策略訓(xùn)練。因此，后訓(xùn)練只需要較少樣本完成真機(jī)適配。
? 可擴(kuò)展的多模態(tài)融合范式，通往更通用的具身智能
在智在無界看來，Vision-Motion MoT 架構(gòu)還有一個更為深遠(yuǎn)的意義：它確立了一套可擴(kuò)展的融合范式，為具身基礎(chǔ)模型打開了新的可能性。
在Being-M0.7的訓(xùn)練中，智在無界團(tuán)隊(duì)建立起超10000小時的大規(guī)模混合模態(tài)預(yù)訓(xùn)練數(shù)據(jù)，從過去昂貴、稀缺的機(jī)器人真機(jī)演示，拓展至海量人類行為數(shù)據(jù)。而Being-M0.7作為面向人形機(jī)器人的隱式世界動作模型，也首次實(shí)現(xiàn)了第一人稱視覺Vision和Motion兩個模態(tài)的聯(lián)合預(yù)訓(xùn)練。
這只是起點(diǎn)。未來，隨著文本、音頻、觸覺等多模態(tài)數(shù)據(jù)的持續(xù)引入，模型對物理世界的理解將更加立體和完整。文本可以提供高層任務(wù)語義，音頻可以捕捉環(huán)境聲音線索，觸覺可以反饋接觸力與材質(zhì)信息——這些信號與視覺、運(yùn)動數(shù)據(jù)在 MoT 架構(gòu)中分層融合，將讓機(jī)器人不僅能'看到'和'動起來'，還能'聽懂指令'、'感知材質(zhì)'、'理解語境'。隨著數(shù)據(jù)規(guī)模的持續(xù)Scale Up，這套范式的能力邊界將持續(xù)向外拓展。
這正是具身基礎(chǔ)模型的發(fā)展趨勢：在預(yù)訓(xùn)練中覆蓋更多模態(tài)、更多維度的數(shù)據(jù)，讓模型從單一感知通道走向全感官融合。
接下來，智在無界將圍繞 Being-M 系列模型持續(xù)迭代，不斷探索隱式世界動作模型的上限，走向真正通用的具身智能。
