Meta做了一顆CIS

公眾號記得加星標??，第一時間看推送不會錯過。

未來的相機傳感器可能不再是被動成像設備。一項由Meta公司支持的最新研究項目提出了一種截然不同的圖像采集方法，該方法基于一種三層堆疊式計算傳感器，能夠在將圖像處理直接集成到傳感器內部的同時，實現接近20檔的動態范圍。盡管原型尺寸很小，但其對電影攝影機、計算攝影和人工智能成像系統的未來影響可能非常巨大。

這篇題為“A 400×400 3.24μm 117dB Dynamic Range 3 Layer Stacked Digital Pixel Sensor”的論文在ISSCC 2025上發表，ISSCC是全球最重要的半導體會議之一。該研究由Brillnics公司與Meta公司合作完成，揭示了未來成像的發展方向，在這個方向上，圖像傳感器和圖像處理器之間的界限將逐漸消失。

一種不同類型的圖像傳感器

乍看之下，這款傳感器本身似乎并不特別出彩。原型機的分辨率僅為 400×400 像素，像素間距為 3.24μm。然而，真正的突破并非在于分辨率，而在于其架構。該傳感器結合了數字像素傳感器設計、三層堆疊結構以及集成的片上圖像信號處理器 (ISP)。這意味著傳感器不再局限于簡單的光線捕捉，而是在信息離開芯片之前，便已在內部主動處理圖像數據。這與現代相機中使用的傳統成像流程截然不同。如今的系統通常按以下順序運行：傳感器 → ISP → CPU/GPU。這項研究預示著未來傳感器內部各環節的邊界將日益融合。

為什么 117 dB 動態范圍如此重要

論文中最引人注目的規格是其宣稱的 117 dB 動態范圍。換算成攝影檔位，這大約相當于 19.4 檔的理論動態范圍。1176.02≈19.4檔。與大多數現代電影攝影機相比，這個數字非常驚人。然而，更重要的細節在于該傳感器是如何實現如此高性能的。研究表明，該架構支持單次曝光 HDR 拍攝，而非完全依賴傳統的多幀 HDR 合并。這種區別對于運動成像至關重要。多幀 HDR 系統在快速運動過程中通常會引入重影、滾動不一致性和運動偽影。單次曝光 HDR 架構對于電影和機器視覺應用來說更有價值，因為它能夠保持幀內的時間一致性。

傳感器本身正在成為處理器

這項研究最重要的方面之一是集成片上圖像信號處理器（ISP）。多年來，成像行業一直在逐步向計算攝影和人工智能輔助成像方向發展。智能手機已經高度依賴軟件處理流程，但這種架構將計算功能直接集成到傳感器內部。未來的發展方向越來越清晰。未來的傳感器可能不再僅僅是捕獲光子，它們甚至可以在圖像到達主處理器之前，對視覺信息進行分析、優化、壓縮、色調映射和智能處理。該論文還提到了稀疏數據傳輸和像素數字處理功能，這兩者都與未來的人工智能成像系統和邊緣計算架構密切相關。這一發展方向有望顯著降低帶寬需求、功耗、延遲和發熱量。

Meta的參與

Meta公司的參與立即將這項研究的重要性提升到學術半導體工程之外的更高層次。該公司持續大力投資AR眼鏡、空間計算、可穿戴人工智能系統以及全天候機器視覺技術。這些未來的設備需要成像系統能夠同時提供高動態范圍、低功耗、緊湊尺寸和集成計算處理能力。這款傳感器似乎完美契合了這一未來發展方向。其功耗表現尤其令人印象深刻。據報道，整個系統在30幀/秒的幀率下僅消耗2.45毫瓦，對于一款能夠實現117分貝動態范圍的傳感器架構而言，這是一個極低的功耗。如此高的效率表明，該傳感器更適用于可穿戴設備和邊緣人工智能應用，而不僅僅是傳統的相機產品。

400×400 的超小分辨率乍看之下似乎對專業成像應用而言無關緊要。但實際上，許多突破性的傳感器技術最初都是在小型實驗陣列中出現，最終才擴展到更大的商業系統中。背照式傳感器、堆疊式 DRAM 架構、先進的 HDR 系統以及全局快門技術都遵循著類似的研發路徑。這款原型機的目的顯然是為了驗證其架構本身，而非與商用相機傳感器競爭。關鍵問題不在于這款傳感器是否會被應用到電影攝影機中，而在于其底層架構最終能否擴展到更大的成像系統中。盡管這項研究可能主要針對增強現實 (AR)、人工智能 (AI) 和機器視覺系統，但它對電影技術的影響卻令人著迷。未來的電影傳感器最終可能會將實時 HDR 處理、計算色調映射、AI 輔助降噪、高級運動分析以及低延遲圖像優化等功能直接集成到傳感器堆棧內部。但這并不意味著大型傳感器的物理特性就此變得無關緊要。傳感器尺寸仍然在聚光能力、噪聲性能、深度渲染和電影渲染特性等方面發揮著至關重要的作用。然而，成像技術的未來似乎越來越依賴于計算而非光學。索尼、佳能和三星已經積極推進堆疊式傳感器架構。這項由Meta支持的研究表明，下一個重大發展方向可能是將傳感器作為智能成像系統而非被動式光捕獲設備。我們認為，未來相機傳感器可能不再僅僅是傳感器，而是整個成像流程的核心。

（來源：編譯自ymcinema）

*免責聲明：本文由作者原創。文章內容系作者個人觀點，半導體行業觀察轉載僅為了傳達一種不同的觀點，不代表半導體行業觀察對該觀點贊同或支持，如果有任何異議，歡迎聯系半導體行業觀察。

今天是《半導體行業觀察》為您分享的第4403內容，歡迎關注。

加星標??第一時間看推送

求推薦