5月的宿遷室外氣溫雖不算太高,但面積不大的制衣廠廠房內(nèi)還是有些熱。工人們正趕著新一批的貨,她們中有幾個人頭戴相同的黑色設(shè)備,這是用來采集訓(xùn)練具身智能模型數(shù)據(jù)的儀器。經(jīng)過上傳、清洗、質(zhì)檢、標注等流程后,合格的數(shù)據(jù)會輸入具身智能模型,讓模型更加理解真實的物理世界。
![]()
圖:工人頭戴數(shù)據(jù)采集設(shè)備工作,來源:每經(jīng)記者 王郁彪 攝
今年年初,京東曾宣布,將發(fā)動內(nèi)部超10萬名各類職業(yè)員工,以及外部最多50萬各行業(yè)人員,同時在宿遷發(fā)動超10萬市民,參與具身智能數(shù)據(jù)采集工作。希望在兩年內(nèi)積累超1000萬小時人類真實場景視頻數(shù)據(jù)。5月20日,京東宣布全國首個具身智能數(shù)據(jù)采集社區(qū)已在宿遷運行。
對制衣廠的工人們來說,目前數(shù)據(jù)采集的工作相對輕松,還能獲得一定的收入。在宿遷,數(shù)采工作的主力軍還有寶媽等居家群體。其一日的任務(wù)量是完成6個小時數(shù)據(jù)的采集,他們將日常做家務(wù)的動作記錄下來,整體每月收入在3000元到3500元不等。
機器人真正想要走向產(chǎn)業(yè)化,用于負責(zé)感知、決策和執(zhí)行的“大腦”能力的突破是關(guān)鍵,這已是行業(yè)共識。然而“大腦”的訓(xùn)練需要燒掉海量數(shù)據(jù)燃料。為了具身智能數(shù)據(jù)大廈的落成,有人已經(jīng)開始在造“磚”了。
具身智能數(shù)采“進”社區(qū)采集人員月收入3000元到3500元
具身數(shù)據(jù)采集社區(qū)位于宿遷市湖濱新區(qū)。從今年4月數(shù)據(jù)采集社區(qū)試運行以來,有不少社區(qū)居民報名參與。《每日經(jīng)濟新聞》記者了解到,采集員經(jīng)過專業(yè)技術(shù)人員培訓(xùn)后,在日常家務(wù)過程中就能完成數(shù)據(jù)采集工作。
正常進行擦桌子、疊衣服、整理收納、地面清潔等勞動時,他們只需頭戴京東自研的JoyEgoCam采集終端即可獲取上肢軌跡、力度分布、人與家居環(huán)境的交互關(guān)系等關(guān)鍵參數(shù)。
通過可穿戴設(shè)備,普通人也可以在工廠、物流、零售、醫(yī)療以及家庭等環(huán)境中完成數(shù)據(jù)采集,從而降低數(shù)據(jù)采集門檻,拓展采集場景。這也是當下行業(yè)共同的解決方案。
一位居家采集人員告訴每經(jīng)記者,數(shù)采機會配備內(nèi)存卡,內(nèi)存卡儲滿數(shù)據(jù)需要6個小時的采集工作。月收入在3000元到3500元,多勞多得。除數(shù)采人員外,衍生出來的還有數(shù)據(jù)標注師、模型訓(xùn)練師等。
采集回來的數(shù)據(jù)需要經(jīng)過上傳、清洗、質(zhì)檢、標注、訓(xùn)練、驗證等流程,最終成為“數(shù)據(jù)燃料”,輸入到具身智能模型中。
每經(jīng)記者注意到,除社區(qū)外,京東具身智能數(shù)據(jù)采集中心內(nèi),還設(shè)有零售商超、物流倉儲等場景的數(shù)據(jù)采集區(qū)域,相對居家等場景,產(chǎn)線上的數(shù)據(jù)采集工作需要一定的專業(yè)度,需要操作更復(fù)雜的設(shè)備,更全面的記錄視覺、觸覺、空間軌跡等全維度數(shù)據(jù)。
![]()
圖:京東機器人數(shù)據(jù)采集中心,來源:每經(jīng)記者 王郁彪 攝
京東具身智能數(shù)據(jù)采集負責(zé)人告訴每經(jīng)記者,這些數(shù)據(jù)采集完成后,經(jīng)過完整的數(shù)據(jù)清洗,形成可用的數(shù)據(jù)集,用來做模型預(yù)訓(xùn)練。相關(guān)模型借助這些數(shù)據(jù)完成學(xué)習(xí)后,初步具備執(zhí)行各類任務(wù)的泛化能力。最后再把模型搭載到機器人本體后,機器人依靠模型推理能力,去執(zhí)行各類不同任務(wù)。
多場景數(shù)據(jù)采集目的在于提高模型的泛化能力
除社區(qū)居家場景外,每經(jīng)記者還實地探訪了宿遷的康養(yǎng)中心、果園等。在養(yǎng)老院,采集員記錄協(xié)助老人起身、喂藥、康復(fù)訓(xùn)練等照護動作,為服務(wù)機器人提供人類照護行為樣本。
果園內(nèi),每經(jīng)記者了解到,其采集內(nèi)容覆蓋果蔬采摘的手眼協(xié)調(diào)軌跡、農(nóng)具握持與操作的力學(xué)數(shù)據(jù)、田間不規(guī)則地形下的行走與避障動作等,以適應(yīng)農(nóng)業(yè)作業(yè)的復(fù)雜環(huán)境等特征。
制衣廠的采集員則在縫紉、裁剪、質(zhì)檢等工位作業(yè),記錄手部精細操作、多工位流轉(zhuǎn)等數(shù)據(jù),為工業(yè)柔性操作模型提供小樣本、高精度、可復(fù)用的訓(xùn)練素材。
那么,具身智能模型的訓(xùn)練究竟需要什么樣的數(shù)據(jù)?
具身智能公司帕西尼數(shù)采負責(zé)人對每經(jīng)記者表示,數(shù)據(jù)收集需要多場景數(shù)據(jù)的支撐。多場景的數(shù)據(jù)收集、植入訓(xùn)練的是模型的泛化能力。就是當你告訴機器人去做任務(wù)A、B、C的時候,它通過對A、B、C數(shù)據(jù)的學(xué)習(xí),哪怕它之前沒有做過D任務(wù),但是經(jīng)過模擬訓(xùn)練之后,D任務(wù)也能做。
“我們之前拿到了京東的視覺EGO數(shù)據(jù)集(EGO數(shù)據(jù)集是指多個以?第一人稱視角?為核心的視頻數(shù)據(jù)集集合)之后,配合我們(機器人)觸覺的數(shù)據(jù)收集,對人類的日常工作模塊進行了補齊。”他表示。
此外,對于具身智能數(shù)據(jù)采集,他認為最重要的有兩點,一是需要覆蓋到人類的感知層面,二是在數(shù)據(jù)收集時維持人類原本的意圖。“我們在收集的時候不以收集為目標,而是記錄人類以當前意圖去完成這個任務(wù)時,他做出的所有動作。雖然我們看到的數(shù)據(jù)是動作,但實際上更深層次,需要訓(xùn)練模型理解做這個任務(wù)時人類的行為和意圖。”他進一步表示。
2年1000萬小時能解具身智能“數(shù)據(jù)饑渴”嗎?
覓蜂科技董事長兼CEO(首席執(zhí)行官)、智元機器人合伙人姚卯青此前公開表示,訓(xùn)練類似ChatGPT-5級別的系統(tǒng)所需語料達百億小時量級,而具身智能可用數(shù)據(jù)僅在50萬小時量級,規(guī)模差距懸殊,還存在標準缺失、質(zhì)量不一、供需錯配等問題。
![]()
圖:機器人訓(xùn)練場景,來源:每經(jīng)記者 王郁彪 攝
與大語言模型相比,具身智能的數(shù)據(jù)積累無疑還處于早期階段。每經(jīng)記者此前也從京東方面了解到,其認為具身智能要達到真正可用,至少需要1000萬小時級別的真實場景交互數(shù)據(jù)。然而,當前行業(yè)數(shù)據(jù)規(guī)模僅約100萬小時,數(shù)據(jù)缺口高達10倍。
融資規(guī)模不斷被刷新,量產(chǎn)步伐全面提速,市場規(guī)模水漲船高,一年比一年熱鬧的具身智能賽道,卻深陷“數(shù)據(jù)荒漠”困境,這背后必然有很多不可控因素。如今,京東、智元等已經(jīng)開始做具身智能數(shù)據(jù)的采集工作。數(shù)據(jù)采集完成后,這些數(shù)據(jù)如何真正融入機器人的“大腦”?
京東具身智能相關(guān)負責(zé)人告訴《每日經(jīng)濟新聞》記者,底層硬件設(shè)備完成物理世界真實數(shù)據(jù)采集后,需要被送至“工具層”,可以理解為用一個“工具箱”進行數(shù)據(jù)處理、模型訓(xùn)練以及仿真評測等。
“再往上就是模型層,也就是所謂的‘大腦’,包含VLA模型(視覺—語言—動作模型)、VLN模型(視覺—語言導(dǎo)航)、世界模型等核心能力。最頂層就是應(yīng)用層,就是這些技術(shù)最終落地的場景,比如家政服務(wù)、物流配送、醫(yī)療輔助、零售服務(wù)、工業(yè)制造等。”該負責(zé)人透露。
機器人如何在物流、家庭、工業(yè)等現(xiàn)實場景中真正“落地生根”并發(fā)揮作用?這仍是一個需要無數(shù)機器人整機企業(yè)、具身智能數(shù)據(jù)公司反復(fù)探索并傾注全部心血去解答的課題與過程。這場關(guān)于具身智能基礎(chǔ)設(shè)施的競賽沒有終點,誰先打通道路、積累足夠的數(shù)據(jù)“燃料”,誰就更有可能在機器人“大腦”時代的賽跑中,搶占未來十年的主動權(quán)。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.