DeepSeek“開眼”背后的技術(shù)，公開了！

智東西
作者 陳駿達
編輯 心緣

智東西4月30日報道，今天，DeepSeek發(fā)布多模態(tài)技術(shù)報告《用視覺原語思考（Thinking with Visaul Primitives）》，詳細闡釋了昨日灰度上線的DeepSeek識圖模式背后的技術(shù)細節(jié)（DeepSeek終于能看圖了！我第一時間用它算命）。

DeepSeek識圖模式所使用的是一個284B參數(shù)、13B激活多模態(tài)推理模型，其正式名稱尚未對外發(fā)布，基座模型是DeepSeek-V4-Flash。DeepSeek稱，這一模型的權(quán)重將整合進DeepSeek的基礎(chǔ)模型，并在未來發(fā)布。

當前，傳統(tǒng)的思維鏈仍然停留在語言領(lǐng)域，但視覺推理所需要的信息更多。DeepSeek的新一代多模態(tài)推理模型的核心升級就在于，它把純粹的語言推理鏈條，升級成了一種“語言邏輯+空間坐標”交織的雙軌思維。

當模型對著一張圖進行推理時，它是會像人一樣，直接輸出一個具體的框或者點，在圖中精準地“指”出它當下正在想的那個東西。

DeepSeek多模態(tài)團隊負責人陳小康分享了一張動圖，形象地闡釋了這一運作機制。圖中，DeepSeek多模態(tài)模型可以在思維鏈中使用框進行定位，并在后續(xù)的推理步驟中持續(xù)引用這些被框定的視覺錨點，基于空間坐標進行下一步判斷，極大提升了視覺推理的準確性。

▲DeepSeek多模態(tài)模型推理過程

在一系列高難度視覺QA任務(wù)中，這一模型的表現(xiàn)超過了GPT-5.4、Claude-Sonnet-4.6、Gemini-3-Flash、Qwen3-VL等模型。

較高的token效率也是這一模型的亮點。與當前主流的多模態(tài)大模型將一張圖片轉(zhuǎn)化為成百上千個視覺token不同，DeepSeek這套架構(gòu)通過視覺壓縮策略，將高分辨率圖像從原始像素開始，經(jīng)過ViT特征提取、空間壓縮以及稀疏注意力機制的多級處理，最終在KV緩存中僅保留約90個視覺條目，實現(xiàn)超7000倍的壓縮。

這意味著模型在進行復雜空間推理時，無需在海量視覺信息中反復檢索，思考過程的每一步都較為“輕量”。

項目地址：

https://github.com/deepseek-ai/Thinking-with-Visual-Primitives

技術(shù)報告：

https://github.com/deepseek-ai/Thinking-with-Visual-Primitives/blob/main/Thinking_with_Visual_Primitives.pdf

一、自然語言存在“指代鴻溝”，視覺標記介入有望破解

這篇論文中，DeepSeek多模態(tài)團隊提出了對現(xiàn)有多模態(tài)大模型缺陷的洞察。過去，當業(yè)界談?wù)撎嵘曈X模型的推理能力時，幾乎所有的努力都集中在“感知鴻溝”上，也就是讓模型“看得更清楚”：通過更高分辨率的圖像切分、更精細的動態(tài)分塊，確保模型不會遺漏圖中的細節(jié)。

但DeepSeek多模態(tài)團隊認為，即便把這一切做到極致，模型依然會在復雜的視覺推理任務(wù)中崩潰。

自然語言在描述連續(xù)視覺空間時，天然存在一種“指代鴻溝”：當你說“左邊那個東西”時，在擁擠的場景中，這個“東西”到底指哪一個，模型無法精確鎖定。

于是，模型的思維鏈條看似環(huán)環(huán)相扣，實則每一步都存在偏離的風險，一旦涉及到密集計數(shù)、多步空間推理或者拓撲導航這種需要逐步推理的任務(wù)，邏輯就會因為指代不清而逐漸崩塌。

基于這個判斷，DeepSeek多模態(tài)團隊嘗試讓模型在思考時“邊想邊指”，也就是讓模型用點坐標和邊界框來“指”，把這些人類的視覺原語，變成模型思維鏈條上的最小認知單元。

架構(gòu)層面，這一多模態(tài)模型通過DeepSeek-ViT負責將圖像轉(zhuǎn)換為視覺特征，下圖右下方的文本分詞器負責處理用戶的語言指令，兩者輸入至基座模型DeepSeek-V4-Flash進行推理融合，最后由去分詞器輸出包含自然語言與視覺原語（如坐標框、區(qū)域標記）的聯(lián)合響應。這種設(shè)計使模型兼顧文本理解能力和原生視覺定位能力。

二、篩選超4000萬個高質(zhì)量樣本，對四類任務(wù)針對性優(yōu)化

要把點和框變成模型思維的一部分，首先要解決的問題，就是如何讓模型真正“學會指”。模型需要把“指”這個動作內(nèi)化成一種思維習慣。

為此，DeepSeek多模態(tài)團隊構(gòu)建了一條貫穿預訓練、冷啟動和強化學習的訓練流水線。

在預訓練階段，他們從互聯(lián)網(wǎng)上爬取了97984個與目標檢測相關(guān)的數(shù)據(jù)源，設(shè)計了自動化的語義和幾何質(zhì)量審查機制，過濾掉亂碼標簽、不可泛化的私人實體、嚴重截斷的框以及覆蓋全圖90%面積的“巨型框”等低質(zhì)量標注，最終篩選出31701個高質(zhì)量數(shù)據(jù)源，總計超過4000萬個的精準樣本，先讓模型掌握基本定位能力。

接下來是冷啟動數(shù)據(jù)構(gòu)建。DeepSeek多模態(tài)團隊針對計數(shù)、空間推理、迷宮導航和路徑追蹤這四類最能體現(xiàn)視覺原語價值的任務(wù)，合成了一套帶有精確思考軌跡監(jiān)督的數(shù)據(jù)。

以計數(shù)任務(wù)為例，模型被明確教導，在思考時要先批量框選所有候選對象，然后再對這些錨定好的框進行逐一校驗和累加。

▲計數(shù)任務(wù)的一條冷啟動數(shù)據(jù)

在迷宮任務(wù)中，模型的每一步探索都必須輸出一個點坐標來標記當前所在，一旦失誤撞墻，整個后續(xù)探索在因果上就自動失效，模型必須學會回溯。

這種把視覺原語操作直接整合進思維鏈的做法，讓模型在冷啟動階段就建立起“指向-推理”的強耦合。

三、采用稠密獎勵機制，視覺編碼壓縮比超7000倍

有了冷啟動模型之后，DeepSeek多模態(tài)團隊通過一套“訓練專家再融合”的后訓練策略，將模型的能力進一步精細化。其中的創(chuàng)新點在于強化學習階段的獎勵模型。

以迷宮任務(wù)為例，獎勵分解為探索進度、撞墻懲罰、路徑有效性和探索完整性等多個維度。模型每正確探索一個單元格、沒有非法穿越墻壁，都會獲得正向信號，而一旦發(fā)生撞墻，即便最終的答案為“可解”，也會被嚴格扣分。

這種稠密的獎勵機制，讓模型必須認真對待每一個視覺原語操作，無法靠猜答案實現(xiàn)獎勵破解。

為了同時掌握框定位和點指向這兩種視覺原語，該團隊還分別訓練了兩個專家模型，最后通過在線策略蒸餾將它們?nèi)诤铣梢粋€統(tǒng)一模型，讓學生模型在自己生成的思維軌跡上，學習兩位專家老師的輸出分布。這種設(shè)計有效避免了兩種異構(gòu)原語在訓練中的相互干擾。

值得一提的是，這項工作的技術(shù)路線建立在一個高效的視覺編碼架構(gòu)之上。

首先，Vision Transformer以14×14的塊大小將圖像切分成視覺token；然后，在ViT輸出端進行3×3的空間壓縮，將每9個相鄰token沿通道維度合并為1個；最后，利用模型底座DeepSeek-V4-Flash自帶的壓縮稀疏注意力機制，將KV緩存中的視覺條目再壓縮4倍。

以一張756×756分辨率的圖像為例，它原本會產(chǎn)生2916個patch token，經(jīng)過三級壓縮后最終僅保留81個視覺KV條目，整體壓縮比高達7056倍。

這種token效率意味著，模型在展開復雜的空間推理時擁有了一份“提煉好的索引”，可以拿著索引直接進行思考，從工程上就減弱了無關(guān)像素對推理鏈路的干擾。

結(jié)語：多模態(tài)智能的“系統(tǒng)二”進化

DeepSeek多模態(tài)團隊也在報告中提到了當前技術(shù)的邊界。模型在復雜拓撲推理任務(wù)上的跨場景泛化能力尚未完善，且思考中視覺基元的激活目前仍依賴顯式的觸發(fā)詞，尚未實現(xiàn)完全的自發(fā)調(diào)用。

但他們也認為，這套框架為多模態(tài)社區(qū)展示了通往系統(tǒng)二級別的多模態(tài)智能的路徑。這一路徑?jīng)]有一味地堆高圖像分辨率，而在構(gòu)建了更精準從參照指標。

用空間坐標錨定抽象思維，讓模型像人類一樣“邊指邊想”，這本身就是一個值得繼續(xù)深挖的方向。