日前，世界頂級(jí)機(jī)械臂大賽SAPIEN ManiSkill Challenge 2021公布了本屆參賽隊(duì)伍成績(jī)以及最終排名，其中京東探索研究院視覺(jué)與多媒體實(shí)驗(yàn)室的參賽團(tuán)隊(duì)?“Silver-Bullet-3D”在兩個(gè)重要賽道中分別獲得“第一”和“第二”的優(yōu)秀成績(jī)，充分證明了京東探索研究院在計(jì)算機(jī)視覺(jué)領(lǐng)域受到國(guó)際認(rèn)可。

SAPIEN ManiSkill Challenge機(jī)械臂大賽是由美國(guó)加州大學(xué)圣地亞哥分校、伯克利分校以及斯坦福大學(xué)聯(lián)合在國(guó)際機(jī)器學(xué)習(xí)頂級(jí)會(huì)議ICLR 2022上舉辦的世界重磅賽事。該比賽在完成任務(wù)的設(shè)計(jì)上具有很強(qiáng)的豐富性，可以做到讓專業(yè)性很高的人工智能技術(shù)更容易實(shí)施在現(xiàn)實(shí)場(chǎng)景的機(jī)械臂控制中。本次比賽將控制機(jī)械臂完成的任務(wù)種類設(shè)計(jì)為四種，分別是開(kāi)柜門(mén)、移動(dòng)椅子、開(kāi)抽屜以及搬水桶，吸引了來(lái)自全球知名機(jī)構(gòu)以及高等院校的30多支隊(duì)伍參與其中。

具體來(lái)說(shuō)“No Interaction Track”，即“采用模仿學(xué)習(xí)方案”，旨在從預(yù)先收集的演示軌跡中有效學(xué)習(xí)。在滿足該技術(shù)要求的前提下，參賽團(tuán)隊(duì)提出了基于模仿學(xué)習(xí)的解決方案，主要包括兩個(gè)模塊，分別是直接采用模仿行為的行為克隆以及離線增強(qiáng)學(xué)習(xí)，同時(shí)為了對(duì)機(jī)械臂和被操縱物體復(fù)雜的紋理、結(jié)構(gòu)信息建模，提出了基于Transformer的關(guān)系建模網(wǎng)絡(luò)。值得提及的是在第一階段和第二階段官方測(cè)試中，該模型在所有四個(gè)單項(xiàng)任務(wù)中均位列第一，充分證明了京東探索研究院視覺(jué)與多媒體實(shí)驗(yàn)室在基于模型學(xué)習(xí)的機(jī)械臂控制領(lǐng)域的技術(shù)領(lǐng)先性。

此外在滿足該項(xiàng)技術(shù)要求，即“No Restriction Track”，也可以被釋義為“采用規(guī)則方案”的過(guò)程中，組委會(huì)允許本次的參賽隊(duì)伍基于與仿真環(huán)境的交互任意設(shè)計(jì)控制和規(guī)劃方案。對(duì)此團(tuán)隊(duì)提出了基于啟發(fā)式規(guī)則的方案（HRM），將復(fù)雜的操作任務(wù)分解為一系列子任務(wù)，根據(jù)在仿真環(huán)境中觀察到的圖像和點(diǎn)云，并基于規(guī)則的控制邏輯預(yù)測(cè)機(jī)械臂要完成的操作以實(shí)現(xiàn)當(dāng)前子任務(wù)的目標(biāo)。在官方評(píng)測(cè)中，該方案以超過(guò)第二名23.8%的絕對(duì)優(yōu)勢(shì)獲得第一名。

如今京東探索研究院計(jì)算機(jī)視覺(jué)技術(shù)方向?qū)＠咽跈?quán)18項(xiàng)，其團(tuán)隊(duì)核心成員在AI頂會(huì)發(fā)表的論文總量180+篇，尤其在第29屆ACM國(guó)際多媒體頂級(jí)會(huì)議（ACM International Conference on Multimedia, 簡(jiǎn)稱ACM Multimedia）上，京東探索研究院憑借多模態(tài)交互數(shù)字人技術(shù)、跨模態(tài)分析技術(shù)分別斬獲最佳演示獎(jiǎng)及最佳開(kāi)源項(xiàng)目獎(jiǎng)。

肯定的一點(diǎn)，本次視覺(jué)與多媒體實(shí)驗(yàn)室參賽團(tuán)隊(duì)喜提國(guó)際機(jī)械臂大賽多個(gè)獎(jiǎng)項(xiàng)，將京東探索研究院計(jì)算機(jī)視覺(jué)技術(shù)水平推上新臺(tái)階。從波士頓動(dòng)力的機(jī)器狗風(fēng)靡全球后，機(jī)械臂的出現(xiàn)無(wú)疑帶來(lái)了人機(jī)協(xié)作的技術(shù)創(chuàng)新震撼以及“從0到1”的產(chǎn)業(yè)應(yīng)用變革，未來(lái)以3D視覺(jué)、機(jī)械臂技術(shù)為基礎(chǔ)打造的全方位智能機(jī)械臂操作平臺(tái)，有望以更加極致的創(chuàng)新能力幫助智慧物流、智能控制、工業(yè)互聯(lián)網(wǎng)、食品安全監(jiān)管等領(lǐng)域發(fā)揮巨大的行業(yè)潛力，更快推進(jìn)數(shù)智化產(chǎn)業(yè)蓬勃發(fā)展。

關(guān)鍵詞： 計(jì)算機(jī)視覺(jué)