AIxiv专栏是机械之心宣告学术、技巧实质的栏目博鱼电竞。过去数年，机械之心AIxiv专栏吸收报道了2000多篇实质，笼盖环球各大高校与企业的顶级试验室，有用鞭策了学术相易与鼓吹。假设您有突出的做事思要分享，迎接投稿或者闭系报道。投稿邮箱：；

　　本文作家来自于中国国民大学，深圳朝闻道科技有限公司以及中国电信人为智能磋商院。个中第一作家冯若轩为中国国民大学二年级硕士生，重要磋商倾向为多模态具身智能，师从胡迪讲授。

　　序文：正在机械人专揽物体的历程中博鱼电竞，分歧传感器数据领导的噪声会对预测控缔酿成奈何的影响？中国国民大学高瓴人为智能学院 GeWu 试验室、朝闻道机械人和 TeleAI 近来的团结磋商揭示并指出了 “模态时变性”（Modality Temporality）表象，通过捉拿并描述各个模态质料随物体专揽历程的转折，擢升分歧消息正在具身多模态交互的感知质料，可明显革新精致物体专揽的阐扬。论文已被 CoRL2024 吸收并选为 Oral Presentation。

　　人类正在与境遇互动时显现出了令人齰舌的感官谐和才力。以一位厨师为例，他不单也许依附直觉掌管食材增添的最佳机会，还能通过伺探食品的色彩转折博鱼电竞、细听烹调历程中的音响以及嗅闻食品的香气来精准调控火候，从而无缝地落成烹调历程中的每一个繁复阶段。这种才力，即正在实践繁复且长工夫的操作职业时，生动行使分歧的感官，是兴办正在对职业各个阶段完全而深入融会的根基之上的。

　　然而，看待机械人而言，怎么谐和这些感官模态以更高效地落成指定的操作职业，以及怎么饱满诈骗多模态感知才力来竣工可泛化的职业实践，仍是目下尚未治理的题目。咱们不单须要使模子融会职业阶段自己，还须要从职业阶段的新角度从头审视多传感器交融。正在一个繁复的专揽职业中落成将职业划分为分歧阶段的一系列子宗旨的历程中，各个模态的数据质料很恐怕随职业阶段而一向转折。以是，阶段转换很恐怕导致模态紧张性的转折。除此除表，每个阶段内部也恐怕存正在相对较幼的模态质料转折。咱们将这种表象总结为多传感器仿造研习的一大挑拨：模态时变性（Modality Temporality）。然而，过去的本事很少闭心这一点，马虎了阶段融会正在多传感器交融中的紧张性。

　　本文鉴戒人类的基于阶段融会的多感官感知历程，提出了一个由阶段教导的动态多传感器交融框架 MS-Bot，旨正在基于由粗到细粒度的职业阶段融会动态地闭心拥有更高质料的模态数据，从而更好地应对模态时变性的挑拨，落成须要多种传感器的精致专揽职业。

　　正在繁复的操作职业中机器人，各传感器数据的质料恐怕会跟着阶段的转折而转折。正在分歧的职业阶段中，一个特定模态的数据恐怕对行为的预测拥有宏大功劳，也恐怕动作重要模态的增加，以至恐怕险些不供应任何有效的消息。

　　以上图中的倾倒职业为例，正在初始的对齐阶段中，视觉模态对行为的预测起定夺性感化。进入首先倾倒阶段后，模子须要首先诈骗音频和触觉的反应来确定适应的倾倒角度（倒出速率）。正在依旧静止阶段，模子重要依赖音频和触觉消息来推断依然倒出的幼钢珠质料是否依然亲切宗旨值，而视觉险些不供应有效的消息。最终，正在了结倾倒阶段，模子须要诈骗触觉模态的消息推断倾倒职业是否依然落成，与首先倾倒阶段举行区别机器人。除阶段间的模态质料转折，各个阶段内部也恐怕存正在较幼的质料转折，比方音频模态正在首先倾倒和了结倾倒的前期和后期拥有分歧的紧张性。咱们将这两种转折区别为粗粒度和细粒度的模态质料转折，并将这种表象总结为多传感器仿造研习中的一个紧张挑拨：模态时变性。

　　为了应对模态时变性的挑拨，咱们以为正在机械人专揽职业中，多传感器数据的交融该当兴办正在饱满的职业阶段融会之上。以是，咱们提出了 MS-Bot 框架，这是一个由阶段教导的动态多传感器交融本事，旨正在基于显式的由粗到细的职业阶段融会动态地闭心拥有更高质料的模态数据。为了将显式的阶段融会整合到仿造研习历程中，咱们最先为每个数据聚合的样本增添了一个阶段标签，并将行为标签和阶段标签协同动作监视信号教练蕴涵四个模块的 MS-Bot 框架（如图 2 所示）：

　　特点提取模块：该模块蕴涵一系列单模态编码器博鱼电竞，每个编码器都经受一段简短的单模态观测史籍动作输入，并将它们编码为特点。

　　形态编码器：该模块旨正在将各模态特点和行为史籍序列编码为体现目下职业形态的 token。行为史籍与人类回忆犹如，可能帮帮指示目下所处的职业形态博鱼电竞。咱们将行为史籍输入到一个 LSTM 中，并通过一个 MLP 将它们与模态特点编码为形态 token。

　　阶段融会模块：该模块旨正在通过将阶段消息注入形态 token 中，从而竣工显式的由粗到细粒度的职业阶段融会机器人。咱们用一组可研习的阶段 token 来体现每个职业阶段，并通过一个门控搜集（MLP）来预测目下所处的阶段，诈骗 Softmax 归一化后的阶段预测分数对阶段 token 举行加权交融，取妥善前阶段 token。门控搜集的教练以阶段标签动作监视信号，对非目下阶段的预测分数举行处治。咱们还松开了对阶段边境邻近的样本上的相邻阶段分数处治，从而竣工软桎梏成绩，取得更滑润的阶段预测。新的注入阶段消息后的形态 token 由原形态 token 和阶段 token 加权交融取得，可能体现职业阶段内的细粒度形态，从而对多传感器动态交融举行教导。

　　动态交融模块：该模块依照目下职业阶段的细粒度形态动态地挑选闭心的模态特点。咱们以注入了阶段消息的形态 token 动作 Query，将模态特点动作 Key 和 Value 举行交叉防卫力（Cross Attention）。该本事依照目下职业阶段的需求，将各模态的特点动态地整合到一个交融 token 中。最终，该交融 token 输入到战略搜集（MLP）中预测下一个行为。咱们还引入了随机防卫力隐隐机造，以肯定概率将各单模态特点 token 上的防卫力分数交换为无此表均匀值，防卫模子简易地回忆与防卫力分数形式对应的行为。

　　为了验证基于由粗到细的职业阶段融会的 MS-Bot 的卓绝性，咱们正在两个很是有挑拨性的精致机械人专揽职业：倾倒和带有键槽的桩插入中举行了周到的比拟。

　　如表 1 所示，MS-Bot 正在两个职业的统统筑立上均优于统统基线本事。MS-Bot 正在两个职业中的功能横跨了行使自防卫力（Self Attention）举行径态交融的 MULSA 基线，这证明 MS-Bot 通过正在交融历程中基于对目下阶段的细粒度形态的融会更好地分派模态权重，而没有显示阶段融会的 MULSA 基线无法饱满诈骗动态交融的上风。

　　咱们还对职业落成中各个模态的防卫力分数和各阶段的预测分数举行了可视化。正在每个工夫步，咱们诀别对每种模态的统统特点 token 的防卫力分数举行均匀，而阶段预测分数是 Softmax 归一化后的门控搜集输出。如图 4 所示机器人，MS-Bot 切确地预测了职业阶段的转折，而且得益于模子中由粗到细粒度的职业阶段融会，三个模态的防卫力分数依旧相对坚固，阐扬出明白的阶段间转折和较幼的阶段内调剂。

　　为了验证 MS-Bot 对作梗物的泛化才力，咱们正在两个职业中都参加了视觉作梗物。正在倾倒职业中，咱们将量筒的色彩从白色更改为赤色。看待桩插入职业，咱们将底座色彩从玄色更改为绿色（“Color”），并正在底座四周就寝杂物（“Mess”）。如表 2 所示，MS-Bot 正在各式有作梗物的场景中永远依旧功能上风，这是由于 MS-Bot 依照对目下职业阶段的融会动态地分派模态权重，从而淘汰视觉噪声对交融特点的影响，而基线本事缺乏融会职业阶段并动态调剂模态权重的才力。

　　本文从职业阶段的视角从头审视了机械人专揽职业中的多传感器交融，引入模态时变性的挑拨，并将由子宗旨划分的职业阶段融入到仿造研习历程中。该磋商提出了 MS-Bot，一种由阶段教导的多传感器交融本事，基于由粗到细粒度的阶段融会动态地闭心质料更高的模态。咱们自信由显式阶段融会教导的多传感器交融会成为一种有用的多传感器机械人感知范式，并借此心愿也许鞭策更多的多传感器机械人专揽的联系磋商机器人。视听触感官协同合作博鱼电竞的具身周密运用人大胡迪团队寻求机械人模态时变性挑衅