峰瑞資本李豐：對具身智能三大新熱點的思考

作為當下備受關(guān)注的賽道，熱潮之下的具身智能，正不斷涌現(xiàn)新概念和新現(xiàn)象。

4月23日，在由投中主辦的“第20屆中國投資年會·年度峰會”上，峰瑞資本創(chuàng)始合伙人李豐直言，生成高維數(shù)據(jù)、世界模型和物理模型，是當前的三個投資熱點新方向。

在他看來，這些新概念和新現(xiàn)象的出現(xiàn)，根源在于缺少數(shù)據(jù)，“具體來說，是人類從來沒有積累過大量包含這些物理量和物理世界交互規(guī)律的數(shù)據(jù)，我們從來沒有大規(guī)模產(chǎn)生過這類數(shù)據(jù)。”

市場對生成高維數(shù)據(jù)、世界模型和物理模型等方向的熱捧，本質(zhì)上都是為了解決同一個問題——如何在沒有這類數(shù)據(jù)的情況下，依然能解決問題，完成想要實現(xiàn)的各類機器人操作任務(wù)。

以下為李豐現(xiàn)場演講實錄，由投中網(wǎng)整理：

首先恭喜投中20屆年會順利舉辦，也非常感謝投中的邀請。現(xiàn)在作為投資人其實也不太容易，因為市場上日新月異的概念太多，我們總得不停地更新知識、持續(xù)學習。今天我們有時間跟大家交流，分享的也只是我們自己的一些觀察和想法。因為最近又出現(xiàn)了非常多的新生事物和新概念，我從中挑了幾個，跟大家交流分享。

這是目前比較新的三件事，我從幾個角度給大家梳理一下。

第一，從去年年底開始，不管是美國還是中國，都出現(xiàn)了無本體機器人的數(shù)據(jù)，時髦的詞匯叫UMI（Universal Manipulation Interface）數(shù)據(jù)。UMI數(shù)據(jù)的生成，帶來的結(jié)果就是出現(xiàn)了一大堆新的機會，以及很多看似有前景的創(chuàng)業(yè)公司，這些公司會提供各種各樣的數(shù)據(jù)采集設(shè)備。比如說你最近看到的，有人在胸口掛個攝像頭，再加上或許有觸覺、或許沒有觸覺的設(shè)備——不管是遙操作、手上戴的機械手，還是直接用手完成各類動作，都屬于這類，也就是生成高維數(shù)據(jù)。

第二，現(xiàn)在更時髦的概念是世界模型。現(xiàn)在看幾乎所有的機器人公司，不管是初創(chuàng)企業(yè)，還是已經(jīng)融了很多錢的公司，都會提到這個詞匯。我們簡單描述一下世界模型的狀況：它試圖通過引入新的三維數(shù)據(jù)——包含與物體接觸并改變其狀態(tài)的交互數(shù)據(jù)——來構(gòu)建一個新的模型，看這個新模型能否更好地理解，人類到底是如何與物體進行交互，并且改變物體狀態(tài)的。這就是世界模型，目前國內(nèi)外有非常多新興公司和知名企業(yè)都在涉足這個領(lǐng)域。國外的發(fā)展已經(jīng)如火如荼，國內(nèi)則算是剛剛起步，現(xiàn)在我們?nèi)タ淳呱硐嚓P(guān)項目，基本上大家都會講世界模型的故事。

世界模型里還有一個稍微特別的小分支叫物理模型。它背后的基本邏輯是：既然機器人要與物理世界交互，不如從物理世界過往的經(jīng)驗中借鑒。這些過往的經(jīng)驗，就是行業(yè)里原來所說的仿真，或者叫物理仿真。雖然現(xiàn)在聽起來已經(jīng)不那么時髦了，但沒關(guān)系。物理仿真本身，就是我們對現(xiàn)實世界中存在的物理現(xiàn)象，進行數(shù)學和物理層面的模擬、歸納與計算。今天這個小分支，就是把這些過往被稱為仿真（不管是CAE還是CAD）的能力，重新融入到模型當中。

原理其實很簡單，最終目的都是為了處理和理解人類如何與物理世界交互。這和今天大家講的大語言模型不一樣，大語言模型專注于處理數(shù)字信號相關(guān)的問題，不管是數(shù)字化的文本信息、數(shù)字化的像素，還是視頻信息；而現(xiàn)在要解決的問題是，桌上的杯子是什么情況、杯子倒了會怎么樣、怎么把杯子拿起來、怎么把杯子放到別的地方，這些都屬于世界模型要覆蓋的內(nèi)容，包含世界模型里那個小小的分支。

我們梳理這些內(nèi)容，是因為它們各自代表了不同的方向，我們也發(fā)現(xiàn)這樣的歸類很有意思。第一類沒什么爭議，生成高維數(shù)據(jù)主要是把新的數(shù)據(jù)采集方法和新的數(shù)據(jù)處理方法結(jié)合在了一起。

第二類世界模型，目前由原來偏計算機或者大模型、做computer vision（計算機視覺）的人在主導——不管是把計算機視覺用在人臉識別上，用在自動駕駛上，還是用在發(fā)展出大語言模型架構(gòu)上。

第三類，物理模型這個小分支里出現(xiàn)了很多做數(shù)學和物理的人。可以說，投資領(lǐng)域的曙光，或者說早期投資的故事與泡沫，終于從計算機系挪出了一部分陽光，照到了數(shù)學、物理這些領(lǐng)域里。

這就是過去一個季度里，機器智能領(lǐng)域最重要、也最時髦的三件事。

為什么會出現(xiàn)這三件事？這背后是兩大挑戰(zhàn)。一是今天的語言模型，我們不從技術(shù)架構(gòu)上討論，只說核心問題——語言模型對物理世界進行預(yù)測和生成數(shù)據(jù)的能力已經(jīng)不夠用了。不夠用的一大表現(xiàn)就是，它無法預(yù)測物理世界中具體物品、具體對象的狀態(tài)的變化。

還有一個挑戰(zhàn)，就是單一模型的局限。就像大語言模型，如果最終要做成單一模型，既要能理解人類的意圖，又要能理解語義（也就是知道這個東西是什么），還要能預(yù)測和理解物理量的改變，比如把這個東西端起來、把水倒出來、把東西碰倒，還要判斷這個東西是重是輕、是什么材質(zhì)，以及這種材質(zhì)的摩擦力是高是低。如果一個模型能像這樣包攬所有事情，既能理解意圖、識別對象，還要預(yù)測這些物理量，以及動作發(fā)生后物理量的變化，那這個模型最終會比現(xiàn)在大得多、復(fù)雜得多。

因為這是一個非常高維的任務(wù)。原來的語言模型只需要處理數(shù)字化的信息和像素，而現(xiàn)在要預(yù)測這么多維度的內(nèi)容，假如還想用單一模型來處理，以我們?nèi)祟惉F(xiàn)有的想象力來看，這會是一個超級無敵大的模型。最后需要多少數(shù)據(jù)來訓練它，它會是多么復(fù)雜、多么耗費算力、多么耗費各類能源的事情，今天我們還不得而知，這是一個尚未有答案的問題。

另一個可能的答案是多模型融合，把各種各樣的物理量轉(zhuǎn)化為仿真相關(guān)的內(nèi)容，讓它與某一個基座模型進行交互。需要某類知識時，就調(diào)用這部分相關(guān)的能力；需要某種物理量時，就調(diào)用對應(yīng)的模型。如果是這樣，就會涉及到大量模型的交叉、調(diào)用與融合，而這些模型之間如何實現(xiàn)交叉、調(diào)用和融合，目前也沒有答案。

這就是在前面三件事的基礎(chǔ)上，已經(jīng)出現(xiàn)的兩個挑戰(zhàn)（或者說一個核心挑戰(zhàn)），不管我們選擇哪一條發(fā)展路徑，都繞不開這個挑戰(zhàn)。

這個挑戰(zhàn)的來源其實也很明確，大家看到的這些現(xiàn)象、新創(chuàng)業(yè)公司和新范式方向，它們的根源都是一樣的——沒有數(shù)據(jù)。具體來說，是人類從來沒有積累過大量包含這些物理量和物理世界交互規(guī)律的數(shù)據(jù)，我們從來沒有大規(guī)模產(chǎn)生過這類數(shù)據(jù)。所以不管是前面提到的第一、二、三類創(chuàng)業(yè)方向，本質(zhì)上都是為了解決同一個問題——如何在沒有這類數(shù)據(jù)的情況下，依然能解決問題，完成想要實現(xiàn)的各類機器人操作任務(wù)。

如果把具身智能的目標看成一個平面坐標系，就是三個不同的方向，我把它們稱之為三角約束：復(fù)雜性、成功率、泛化性。

具體來說，要么是要完成特別復(fù)雜的任務(wù)——這類任務(wù)對人類來說不一定復(fù)雜，但對機器人來說非常復(fù)雜，這里說的不是運動相關(guān)的任務(wù)，而是操作類任務(wù)，也就是和手相關(guān)的任務(wù)；要么是想辦法讓一個模型既能用在A類機器人、B類機器人、C類機器人上，還能適配不同的應(yīng)用場景。還有一類需要很高的成功率，比如有些場景是和實驗相關(guān)的，有些是工業(yè)操作場景，再比如和剪頭發(fā)、按摩相關(guān)的服務(wù)于人的場景，顯然沒人希望按摩時被摁斷一根肋骨，也不希望剪頭發(fā)時被剪禿一塊，這就涉及到不同場景下的成功率問題。

我們梳理這些內(nèi)容、畫出這個三角約束的原因，是因為現(xiàn)在大家看到的大部分demo（演示版本）都離實際應(yīng)用有些差距。這些demo，都在努力證明，這個三角形的面積可以同時變大，可以向各個維度擴張——如果是空間坐標系，就是體積變大，在各個方向都實現(xiàn)擴張。

不幸的是，在我們目前能看到的有限范圍內(nèi)，即使是demo層面，大部分項目也只是在平面坐標系的三角形里，努力把其中一個角或者一個半角稍微擴張一點。我們還沒有明確看到，有哪種方法能把這三個角同時向外拉很遠，從而讓三角形的面積大幅增大。這大概就是今天機器人操作領(lǐng)域的現(xiàn)狀。

快速總結(jié)一下剛才講的所有現(xiàn)象：在已經(jīng)如火如荼的具身智能機器人創(chuàng)業(yè)方向上，有這樣三件新事，這是我們分享的第一部分。關(guān)于這三件新事的深入討論還不多，但相信很快，大家會開始討論我們剛才提到的兩個挑戰(zhàn)。今天我們講的這些新模型，未來到底會是什么樣子？是變成更大、更復(fù)雜甚至超乎我們目前想象的單一模型，還是會出現(xiàn)多個模型相互調(diào)用，但多模型如何融合，仍未可知？這就是挑戰(zhàn)所在。而這些挑戰(zhàn)出現(xiàn)的根源，就是今天沒有足夠的數(shù)據(jù)。我說的“沒有”，是指沒有解決這類問題所需要的、包含物理世界交互和物理量的相關(guān)數(shù)據(jù)。

此外，今天大家看到的幾乎所有demo，都在力圖證明自己能把這個三角形拉大，但大部分公司在demo層面（而非真正意義上的應(yīng)用層面）能做到的，只是把其中一個角稍微拉一拉，或許再把另一個半角稍微拉一拉，大概現(xiàn)狀就是這樣。

講完了所有這些現(xiàn)象，投資最讓人頭疼的事情是，除了提出問題，還得努力尋找解決方案。我們目前沒有明確的解決方案，只有一些以史為鑒的參考案例。

這是歷史上出現(xiàn)過的同類現(xiàn)象，我們先以大家最熟悉的大語言模型為例，從2012年深度學習熱潮開始，算法的演進經(jīng)歷了一系列迭代，雖然從卷積神經(jīng)網(wǎng)絡(luò)(CNN)開始的這一串算法結(jié)構(gòu)或算法邏輯的迭代，跟今天的大語言模型并不是在同一條路線上。

緊接著在2014年之后，出現(xiàn)了生成對抗網(wǎng)絡(luò)(GAN)技術(shù)。隨著技術(shù)范式進一步演進，后來才匯聚到了以Transformer為代表的大語言模型的算法邏輯，這就是算法的迭代過程。包括大模型在內(nèi)的算法迭代從來不是線性的，不是大家按照順序一步一個臺階往上爬，而是爬了兩三步之后，換一個角度再爬兩三步，再換一個角度繼續(xù)爬。

我們再說說大語言模型的數(shù)據(jù)來源，今天我們能訓練出的基座模型，很大程度上依賴于近40年積累的互聯(lián)網(wǎng)文本數(shù)據(jù)。大家使用電腦大概有30年，使用手機大概有15年。在這40年里，我們使用這些智能設(shè)備的過程中，產(chǎn)生了超級龐大的文本公開數(shù)據(jù)庫，這些數(shù)據(jù)就是大語言模型得以訓練、并取得今天這樣成果的數(shù)據(jù)來源。

要補充的是，這只是訓練文本的部分。剛才我們提到，現(xiàn)在要訓練的具身模型，需要涵蓋更多維度——既有3D空間，又有具體物體，還包含物理量、交互方式，并希望它具備預(yù)測能力，這些事情已經(jīng)遠遠超出了預(yù)測下一個“詞”的范疇，比單純的語言預(yù)測要復(fù)雜得多，更何況我們現(xiàn)在還沒有開始像攢互聯(lián)網(wǎng)文本數(shù)據(jù)那樣大規(guī)模積累相關(guān)的數(shù)據(jù)。

接下來，我們看自動駕駛是怎么發(fā)展來的。自動駕駛有點特別，今天大家在網(wǎng)上經(jīng)常會看到爭論，不同公司爭論今天的自動駕駛到底要不要經(jīng)過L3階段？是否可以不經(jīng)過L3直接到L4？為什么會有這樣的爭論？包括特斯拉在內(nèi)，今天大部分自動駕駛技術(shù)，目前都停留在L3到L4之間，暫時還沒有哪家公司能真正宣稱自己已經(jīng)超越了L4——這里說的是開放路面，不是港口、礦區(qū)或者園區(qū)這類相對封閉的環(huán)境。

但自動駕駛的發(fā)展，也經(jīng)歷了從以規(guī)則為主，到今天最時髦的端到端（和大語言模型的架構(gòu)類似）的過程。另外還有一件比較特殊的事：自動駕駛的算法迭代也不是線性的，它也不是順著一條路一步一步走出來的，而是在幾個不同的方向上來回交叉推進的。

再說說自動駕駛的數(shù)據(jù)來源，這一點就更特別了。自動駕駛的數(shù)據(jù)居然主要靠它自己獲取。以特斯拉為例，在去年以前，絕大多數(shù)人買新能源車的時候，不管它是電架構(gòu)的還是是混動的，大家買的是車本身。在去年或前年以前，大部分人買車還不是為了自動駕駛，而是為了省錢、好開好用、安靜、加速快。而大家買車的時候，湊巧這輛車上搭載了所有的傳感器，因為它是一款消費品。

打個比方大家就明白了，大家用智能手機和電腦，肯定不是為了讓市場上任何一家互聯(lián)網(wǎng)巨頭獲取自己的圖片、文本和語音數(shù)據(jù)。但因為智能手機和電腦是大家的消費品，湊巧搭載了后置高清攝像頭、麥克風陣列、GPS芯片，所以大家在使用這些設(shè)備的過程中，產(chǎn)生了無數(shù)的數(shù)據(jù)為互聯(lián)網(wǎng)巨頭所用，而這些數(shù)據(jù)，也成了今天各類模型需要的數(shù)據(jù)來源。

自動駕駛的特別之處就在于，它先把自己變成了一款受歡迎的消費品，大家愿意購買。大家買車的同時，也把車上搭載的所有傳感器買了回去，這些傳感器產(chǎn)生的數(shù)據(jù)，又能拿回來幫助自動駕駛技術(shù)進行大規(guī)模的迭代。正因為這個原因，大家會發(fā)現(xiàn)，誰擁有的數(shù)據(jù)越多，誰的自動駕駛技術(shù)可能進步得就越快一點。但這些數(shù)據(jù)不是它向大家購買的，而是它賣給大家一款大家需要的消費品，這款消費品上湊巧搭載了非常多的傳感器，這些傳感器就把駕駛數(shù)據(jù)、環(huán)境數(shù)據(jù)、車內(nèi)駕駛習慣、路況狀況等，轉(zhuǎn)化成了自動駕駛模型訓練所需的數(shù)據(jù)。這在歷史上是很少見的，它是一個自己給自己積累數(shù)據(jù)的領(lǐng)域，不是因為它是自動駕駛技術(shù)，而是因為它首先是一輛車。在過去十年里，大家買車不是為了買自動駕駛功能，只是為了買一輛車，而傳感器是車上自帶的。

最后我們看AlphaFold（蛋白質(zhì)結(jié)構(gòu)預(yù)測）。它的三個模型版本，也經(jīng)歷了不同的發(fā)展過程，當然現(xiàn)在它的算法結(jié)構(gòu)，也和我們今天討論的這些大模型有相關(guān)性，或者說在某種意義上是端到端的。在發(fā)展初期，它需要借助大量已有的人類數(shù)據(jù)，或者說需要加入一些物理模型。什么是物理模型？就是我們所說的熱力學、動力學。所以在AlphaFold1和AlphaFold2階段，需要加入很多人類已經(jīng)總結(jié)的先驗知識，也就是一些生物規(guī)律，以及與化學、物理相關(guān)的規(guī)律和算法。

AlphaFold的數(shù)據(jù)，起初在AlphaFold1階段比較少，因為它需要的是非常專業(yè)的數(shù)據(jù)，因為它要解決的是一個極其具體的問題：蛋白質(zhì)序列最終會如何折疊，這條長鏈條穩(wěn)定下來之后是什么樣子？

它的數(shù)據(jù)發(fā)展也經(jīng)歷了這樣一個過程，一開始只有少量的蛋白質(zhì)結(jié)構(gòu)數(shù)據(jù)，這時候就需要加入較多的物理、數(shù)學模型和先驗知識；后來數(shù)據(jù)多了一點，物理、化學、數(shù)學模型和先驗知識就可以減少一點；數(shù)據(jù)再增多一些，這些模型和知識就再減少一點。當然，這其中還涉及很多與實驗相關(guān)的工作。

AlphaFold大概經(jīng)歷了一條不同的發(fā)展路徑，它不是通過消費者積累數(shù)據(jù)，而是依靠極度專業(yè)的科研數(shù)據(jù)，但在其模型進化到今天的過程中，很長一段時間內(nèi)，研究者都加入了人類的先驗知識、物理模型、數(shù)學模型等，來幫助它在發(fā)展過程中解決問題。之后，隨著新數(shù)據(jù)不斷積累，加上大量實驗的驗證和校正，才發(fā)展到了今天的AlphaFold3，今天它可能需要的物理與數(shù)學模型以及先驗知識，已經(jīng)稍微少了一點。不過它湊巧是一個預(yù)測確定的單一維度課題的模型，主要目的就是解決蛋白質(zhì)穩(wěn)定下來之后如何折疊，它不需要像具身智能那樣解決那么多維度的問題，不需要解決狀態(tài)變化、對象變化、相互作用以及各種物理量等復(fù)雜問題。

剛上面講到的大語言模型、自動駕駛、AlphaFold，是我目前能想到的可以參考的三種事物的迭代過程。

大語言模型用了全人類積累近40年的數(shù)據(jù)，加上非線性的算法迭代，到今天才發(fā)展出能夠處理語言相關(guān)的邏輯。

自動駕駛從2015年投資最熱的時候開始，用了十年時間發(fā)展到今天的L3.5階段，當然期間也遇到了一些不同的挑戰(zhàn)。它的算法迭代也不是線性的，它的數(shù)據(jù)是靠自己獲取的，但原因不是它讓大家?guī)兔Σ杉瘮?shù)據(jù)，只是通過賣給大家一輛車，車上湊巧搭載了這些傳感器，所以它自己為自己創(chuàng)造了數(shù)據(jù)。

AlphaFold解決的是蛋白質(zhì)結(jié)構(gòu)和折疊這個專業(yè)問題，它用了大量的專業(yè)數(shù)據(jù)，解決了一個單一維度的問題，同時算法也經(jīng)歷了幾次不同的迭代，并且在中間很長一段時間里，借助了人類的先驗知識、物理模型、數(shù)學模型等，來幫助它解決發(fā)展過程中的問題。

這是三條不同的發(fā)展道路，大家可以根據(jù)自己的情況，各自選擇參考答案。

今天具身智能出現(xiàn)的這些挑戰(zhàn)，在十年以后，最終要么是以這三個案例中的某一個為藍本得到解決，要么是融合這三個案例各自的優(yōu)勢，形成交叉性的解決方案。具體是哪一種，這是一個開放的問題，我們只能提出問題，無法給出確定的答案。以上內(nèi)容，僅供大家參考或者思考。

非常感謝投中的邀請，謝謝大家。