公布新定點(diǎn)、雪湖·海若宣布落地車(chē)型，毫末AI DAY依然看點(diǎn)十足

今年一季度的AI DAY后，我們?cè)岢觥聊┠贸隽诉@么多成績(jī)，但在外供上，還沒(méi)有第二家主機(jī)廠(chǎng)信息被披露。

彼時(shí)，距離毫末推出面向乘用車(chē)駕駛領(lǐng)域的“6P開(kāi)放合作模式”（代碼、模塊、軟件、硬件、云端服務(wù)、全棧解決方案6個(gè)產(chǎn)品層面的合作方式）已經(jīng)過(guò)去一段時(shí)間。

或許是看到了我們的疑惑，在今天舉辦的第八屆AI DAY上，毫末智行董事長(zhǎng)張凱向外界公布了毫末6P 開(kāi)放合作的重要進(jìn)展：目前已與包括長(zhǎng)城在內(nèi)的3家主機(jī)廠(chǎng)簽署定點(diǎn)合同，相關(guān)項(xiàng)目正在交付中。

△毫末智行董事長(zhǎng)張凱

這對(duì)于有著長(zhǎng)城汽車(chē)深刻烙印的毫末，意義自是非同一般，張凱也再次強(qiáng)調(diào)“自動(dòng)駕駛是一個(gè)共同進(jìn)退、共享成果的前沿產(chǎn)業(yè)。只有健康的生態(tài)伙伴才能支持毫末高速發(fā)展。”

至此，毫末算是解答了我們?cè)凇吧瞎?jié)課”留下的一個(gè)疑問(wèn)。而這，僅僅是整場(chǎng)AI DAY中的冰山一角。

1

“戰(zhàn)爭(zhēng)”狂人

在我看來(lái)，毫末是有些“好戰(zhàn)”氣質(zhì)在身上的。

2022年給自己安排了數(shù)據(jù)智能技術(shù)之戰(zhàn)、輔助駕駛城市場(chǎng)景之戰(zhàn)、末端物流智能配送車(chē)規(guī)模之戰(zhàn)三大戰(zhàn)役。

進(jìn)入2023年，毫末擴(kuò)大了戰(zhàn)爭(zhēng)范圍，升級(jí)了戰(zhàn)爭(zhēng)內(nèi)容：智能駕駛裝機(jī)量王者之戰(zhàn)、MANA大模型的巔峰之戰(zhàn)、城市NOH百城大戰(zhàn)和末端物流自動(dòng)配送商業(yè)之戰(zhàn)。

三個(gè)月過(guò)去，四大戰(zhàn)役也迎來(lái)了階段性捷報(bào)：

首先是“智能駕駛裝機(jī)量王者之戰(zhàn)”，首款搭載HPilot3.0 的新摩卡DHT-PHEV 即將上市，第二款搭載毫末HPilot3.0的車(chē)型魏牌藍(lán)山也將在今年發(fā)布。毫末HPilot 整體已搭載近20 款車(chē)型。用戶(hù)輔助駕駛行駛里程突破4000 萬(wàn)公里，HPilot2.0 輔助駕駛?cè)站锍淌褂寐蔬_(dá)到了12.6%。海外方面，搭載毫末HPilot 的車(chē)輛已運(yùn)往歐盟、以色列等地區(qū)和國(guó)家，陸續(xù)交付到用戶(hù)手中；同時(shí)，毫末HPilot 即將量產(chǎn)墨西哥版本及俄羅斯版本。

其次是“MANA 大模型巔峰之戰(zhàn)”，毫末的自動(dòng)駕駛數(shù)據(jù)智能體系MANA 架構(gòu)已迎來(lái)全線(xiàn)升級(jí)。到2023 年4 月，MANA 學(xué)習(xí)時(shí)長(zhǎng)近56 萬(wàn)小時(shí)，相當(dāng)于人類(lèi)司機(jī)6.8 萬(wàn)年。

第三是“城市NOH 百城大戰(zhàn)”，中國(guó)首款可大規(guī)模量產(chǎn)落地、重感知城市NOH，已在北京、保定、上海等城市開(kāi)啟泛化測(cè)試，即將量產(chǎn)上車(chē)。到2024 年有序落地100 城。

最后是“末端物流自動(dòng)配送商業(yè)之戰(zhàn)”，毫末末端物流自動(dòng)配送車(chē)小魔駝已在商超履約、智慧社區(qū)、校園配送、餐飲零售、機(jī)場(chǎng)巡邏、高校教育、快遞接駁、智慧園區(qū)、大氣環(huán)評(píng)等九大場(chǎng)景開(kāi)啟運(yùn)營(yíng)。2023 年3 月，小魔駝2.0 獲北京亦莊無(wú)人配送車(chē)車(chē)輛編碼，開(kāi)啟亦莊運(yùn)營(yíng)。

對(duì)比上個(gè)季度的成績(jī)單，雖然增加了“戰(zhàn)爭(zhēng)”內(nèi)容，數(shù)據(jù)也在有條不穩(wěn)地推進(jìn)，但對(duì)于長(zhǎng)期關(guān)注毫末AI Day的人顯然少了一些新鮮感。

好在毫末這次準(zhǔn)備了新的武器——自動(dòng)駕駛生成式大模型DriveGPT，中文名為“雪湖·海若”。

2

如何練成“DriveGPT雪湖·海若”

這絕對(duì)是本場(chǎng)AI Day最受關(guān)注的一Part。

ChatGPT的爆火帶來(lái)的AI影響力有愈演愈烈的趨勢(shì)，就在上周三，Meta推出了一個(gè)AI模型SAM（Segment Anything Model），一個(gè)圖像分割基礎(chǔ)模型，能夠根據(jù)文本指令等方式實(shí)現(xiàn)圖像分割，并且能夠零樣本遷移到其他任務(wù)。而且萬(wàn)物皆可識(shí)別和一鍵摳圖。

而在汽車(chē)圈，相關(guān)企業(yè)幾乎都已官宣布局。

其中兩家最為聲勢(shì)浩蕩。

今年第一季度，推出“文心一言”的百度，產(chǎn)品正式發(fā)布前，官宣與超10家的車(chē)企簽訂戰(zhàn)略合作協(xié)議；2月17日，毫末宣布即將發(fā)布“DriveGPT雪湖·海若”，在自動(dòng)駕駛模型算法方面，全面應(yīng)用ChatGPT的模型和技術(shù)邏輯。

今天，毫末智行CEO顧維灝終于帶來(lái)了DriveGPT雪湖·海若的具體信息。

本質(zhì)上，GPT是在不斷求解下一個(gè)詞（Token）出現(xiàn)的概率，而DriveGPT雪湖·海若底層模型采用了GPT（Generative Pre-trained Transformer）生成式預(yù)訓(xùn)練大模型，目的是求解駕駛場(chǎng)景Token的出現(xiàn)概率。通過(guò)不斷循環(huán)生成自動(dòng)駕駛場(chǎng)景Token 序列，最終完成自車(chē)的決策規(guī)控、障礙物預(yù)測(cè)以及決策邏輯鏈的輸出等任務(wù)。毫末DriveGPT雪湖·海若通過(guò)引入駕駛數(shù)據(jù)建立RLHF（人類(lèi)反饋強(qiáng)化學(xué)習(xí)）技術(shù)，對(duì)自動(dòng)駕駛認(rèn)知決策模型進(jìn)行持續(xù)優(yōu)化。現(xiàn)階段主要用于解決自動(dòng)駕駛的認(rèn)知決策問(wèn)題，后續(xù)持續(xù)會(huì)將毫末多個(gè)大模型的能力整合到DriveGPT雪湖·海若，最終目標(biāo)是實(shí)現(xiàn)端到端自動(dòng)駕駛。

這確實(shí)是一招有利的先手布局，畢竟，AI大模型更好的規(guī)模化落地確實(shí)是在產(chǎn)業(yè)側(cè)，而自動(dòng)駕駛就是其規(guī)模化落地較好的“土壤”之一。應(yīng)用得當(dāng)，甚至能成為幫助自動(dòng)駕駛行業(yè)走出低谷的關(guān)鍵。

當(dāng)然，這需要實(shí)際應(yīng)用結(jié)果去給予信心。

據(jù)顧維灝介紹，毫末DriveGPT雪湖·海若使用了基于4000萬(wàn)公里的駕駛數(shù)據(jù)做預(yù)訓(xùn)練，為了對(duì)生成決策結(jié)果進(jìn)行調(diào)優(yōu)，又引入大約5萬(wàn)段駕駛接管Clips數(shù)據(jù)，完成模型的訓(xùn)練和推理。

具體過(guò)程如下：DriveGPT雪湖·海若會(huì)通過(guò)人類(lèi)反饋強(qiáng)化學(xué)習(xí)的方式進(jìn)行迭代，用DriveGPT雪湖·海若最新模型（Active Model）對(duì)真實(shí)場(chǎng)景Case做生成，產(chǎn)出多種場(chǎng)景序列結(jié)果，再用反饋模型給這些結(jié)果進(jìn)行打分排序，目標(biāo)是把好的結(jié)果排上來(lái)，差的結(jié)果排下去，然后與初始模型（Pretrain-Model）的生成概率做比較，放大比分。最后通過(guò)強(qiáng)化學(xué)習(xí)的方式將參數(shù)再次更新到最新模型中，一直反復(fù)這個(gè)迭代過(guò)程。其中，Reward Model（反饋模型）的訓(xùn)練過(guò)程是獨(dú)立的，使用帶有偏序關(guān)系的Pair樣本對(duì)來(lái)訓(xùn)練，這些樣本對(duì)來(lái)自于接管Case，毫末將與人類(lèi)駕駛結(jié)果相似的模型結(jié)果作為正樣本，與被接管軌跡相似的作為負(fù)樣本，這樣來(lái)構(gòu)建偏序?qū)希倮肔TR（Learning To Rank）的思路去訓(xùn)練Reward Model，進(jìn)而得到一個(gè)打分模型。此外，DriveGPT雪湖·海若還可以輸出決策邏輯鏈：即在輸入端提供Prompts（提示語(yǔ)），根據(jù)提示輸出含有決策邏輯鏈（Chain of Thought）的未來(lái)序列。CoT的思路來(lái)自于毫末CSS自動(dòng)駕駛場(chǎng)景庫(kù)的超過(guò)幾十萬(wàn)個(gè)細(xì)顆粒度場(chǎng)景，將Prompt提示語(yǔ)和完整決策過(guò)程的樣本交給模型去學(xué)習(xí)，學(xué)到推理關(guān)系，從而將完整駕駛策略拆分為自動(dòng)駕駛場(chǎng)景的動(dòng)態(tài)識(shí)別過(guò)程，完成可理解、可解釋的推理邏輯鏈生成。

發(fā)布會(huì)現(xiàn)場(chǎng)，毫末宣布DriveGPT雪湖·海若將首發(fā)于新摩卡DHT-PHEV，新車(chē)即將量產(chǎn)上市。相比“文心一言”在車(chē)端落地的“暫無(wú)音訊”，毫末的DriveGPT雪湖·海若算是有了一個(gè)實(shí)實(shí)在在的落腳點(diǎn)。

現(xiàn)場(chǎng)顧維灝提到，DriveGPT雪湖·海若可以逐步應(yīng)用到智能代駕、捷徑推薦、智能陪練以及脫困場(chǎng)景中。有了DriveGPT雪湖·海若的加持，車(chē)輛行駛會(huì)更安全；動(dòng)作更人性、更絲滑，并有合理的邏輯告訴駕駛者，車(chē)輛為何選擇這樣的決策動(dòng)作。對(duì)于普通用戶(hù)來(lái)說(shuō)，車(chē)輛越來(lái)越像老司機(jī)，用戶(hù)對(duì)智能產(chǎn)品的信任感會(huì)更強(qiáng)。

是騾子是馬，很快我們就能體驗(yàn)到。

3

MANA架構(gòu)全線(xiàn)升級(jí)

DriveGPT雪湖·海若 的算力支持，來(lái)自于毫末的算中心“雪湖·綠洲”（MANA OASIS），這也是毫末面對(duì)全新四大戰(zhàn)役的核心關(guān)鍵。

顧維灝介紹，MANA OASIS此次從算力優(yōu)化等層面升級(jí)了三大能力。

首先，毫末與火山引擎全新搭建了“全套大模型訓(xùn)練保障框架”，實(shí)現(xiàn)了異常任務(wù)分鐘級(jí)捕獲和恢復(fù)能力，可以保證千卡任務(wù)連續(xù)訓(xùn)練數(shù)個(gè)月沒(méi)有任何非正常中斷,有效保證了大模型訓(xùn)練穩(wěn)定性；其次，毫末研發(fā)出以真實(shí)數(shù)據(jù)回傳為核心的增量學(xué)習(xí)技術(shù)，并將其推廣到了大模型訓(xùn)練，構(gòu)建了一個(gè)大模型持續(xù)學(xué)習(xí)系統(tǒng)，自主研發(fā)任務(wù)級(jí)彈性伸縮調(diào)度器，分鐘級(jí)調(diào)度資源，集群計(jì)算資源利用率達(dá)到95%；最后，MANA OASIS通過(guò)提升數(shù)據(jù)吞吐量來(lái)降本增效，滿(mǎn)足Transformer 大模型訓(xùn)練效率，通過(guò)引入火山引擎提供的Lego算子庫(kù)實(shí)現(xiàn)算子融合，端到端吞吐提升84%。

最后，就不得不提毫末AI Day的常駐嘉賓——毫末自動(dòng)駕駛數(shù)據(jù)智能體系MANA，在經(jīng)過(guò)一年多的應(yīng)用迭代后，也迎來(lái)了全面的升級(jí)。顧維灝表示，MANA 計(jì)算基礎(chǔ)服務(wù)針對(duì)大模型訓(xùn)練在參數(shù)規(guī)模、穩(wěn)定性和效率方面做了專(zhuān)項(xiàng)優(yōu)化，并集成到OASIS中；其次，MANA感知和認(rèn)知相關(guān)大模型能力統(tǒng)一整合到DriveGPT雪湖·海若中；第三，增加了使用NeRF 技術(shù)的數(shù)據(jù)合成服務(wù)，降低corner case 數(shù)據(jù)的獲取成本；同時(shí)針對(duì)多種芯片和多種車(chē)型的快速交付難題優(yōu)化了異構(gòu)部署工具和車(chē)型適配工具。

此外，MANA的視覺(jué)感知能力持續(xù)提升，一方面可同時(shí)學(xué)習(xí)三維空間結(jié)構(gòu)和圖片紋理，并將純視覺(jué)測(cè)距精度超過(guò)了超聲波雷達(dá)，BEV 方案也擁有了更強(qiáng)的通用性和適配性；另一方面可實(shí)現(xiàn)單趟和多趟純視覺(jué)NeRF三維重建，道路場(chǎng)景更逼真。通過(guò)NeRF 進(jìn)行場(chǎng)景重建后，可以編輯合成真實(shí)環(huán)境難以收集到的Corner Case。在原有的全局視角修改、添加光照/天氣效果的基礎(chǔ)上，新增合成虛擬動(dòng)態(tài)物體的能力，可以在原有設(shè)定的運(yùn)動(dòng)軌跡上，合成各種Hard Case，模擬城市復(fù)雜交通環(huán)境，用更低成本測(cè)試提升城市NOH能力邊界，更好提升應(yīng)對(duì)城市復(fù)雜交通環(huán)境。

相信MANA的能力提升，將是毫末城市NOH在2024年上半年落地城市達(dá)100城的關(guān)鍵。

4

“挖坑”、“填坑”

當(dāng)你連續(xù)關(guān)注了毫末AI Day之后，你會(huì)發(fā)現(xiàn)它除了是毫末定期對(duì)外展示的平臺(tái)，也是對(duì)內(nèi)管理的重要抓手。每季度的階段性成績(jī)看似是數(shù)據(jù)的更新，其實(shí)是企業(yè)滾雪球般發(fā)展的重要推動(dòng)力。

同時(shí)，毫末的AI Day也是一個(gè)自我”挖坑”、又不斷去”填坑”的公眾監(jiān)督舞臺(tái)，上次的外供情況、這次的DriveGPT雪湖·海若的實(shí)操性究竟如何、2024年上半年城市NOH落地將達(dá)到100城等等，毫末需要不斷推進(jìn)，去一步步實(shí)現(xiàn)這些flag。

這不是件易事。

與此同時(shí)，毫末還在給自己加難度。

我們看到，在毫末的ppt有一頁(yè)已經(jīng)成了連續(xù)幾次AI Day的固定內(nèi)容，那就是“首個(gè)”&“第一”展示。對(duì)比三個(gè)月前，這張PPT上又多了一枚“勛章”。

△上圖：來(lái)源于第七屆毫末AI DAY；下圖：來(lái)源于第八屆毫末AI DAY

這些是成績(jī)、是榮譽(yù)、更是對(duì)毫末的鞭策。

從這一次的發(fā)布來(lái)看，毫末還有很多去戰(zhàn)斗的力量。