原文發(fā)表于《科技導報》2025 年第18 期 《 遙感多維數(shù)據(jù)格式研究進展 》
遙感是全球變化研究最重要的技術(shù)手段之一,多維數(shù)據(jù)的獲取與應(yīng)用成為研究熱點。《科技導報》邀請中國科學院空天信息創(chuàng)新研究院遙感科學國家重點實驗室、中國科學院空天信息創(chuàng)新研究院遙感衛(wèi)星應(yīng)用國家工程研究中心研究員張立福團隊撰文,文章綜述了遙感多維數(shù)據(jù)格式(特別是多維時空譜數(shù)據(jù))的國內(nèi)外發(fā)展情況、最新研究成果、當前技術(shù)難點以及未來發(fā)展方向。介紹了中國科學院空天信息創(chuàng)新研究院在國際上首次提出的多維數(shù)據(jù)格式及其多維遙感數(shù)據(jù)綜合與表征的理論和技術(shù)體系。旨在將這一創(chuàng)新成果傳遞給更廣泛的讀者和科技愛好者,共同推動遙感科學與技術(shù)的發(fā)展和應(yīng)用。
遙感是全球變化研究最重要的技術(shù)手段之一,已從軍事和科研擴展到廣泛的民用領(lǐng)域,提供實時、大范圍的地理信息。隨著技術(shù)的進步,遙感數(shù)據(jù)的分辨率、覆蓋范圍在不斷提升,通過遙感衛(wèi)星長時間連續(xù)地觀測,積累了大量長時間序列、多分辨率、多光譜系列數(shù)據(jù)。多維數(shù)據(jù)的獲取與應(yīng)用成為研究熱點,對遙感數(shù)據(jù)的組織和存儲提出了更高要求。
目前缺乏完全由中國原創(chuàng)且與國際完全不同體系的遙感數(shù)據(jù)格式,并且現(xiàn)有格式在一定程度上存在局限性。中國科學院空天信息創(chuàng)新研究院張立福團隊基于遙感多時相、多空間、多光譜等數(shù)據(jù)特點,在國際上首次提出時空譜多維數(shù)據(jù)格式(MDD),為遙感數(shù)據(jù)的組織和存儲帶來了新的突破,提高了長時序遙感數(shù)據(jù)的利用價值。為便于多維時?空?譜數(shù)據(jù)的構(gòu)建讀取和分析,我們的研究配套研發(fā)并出版了多維分析(MDA)軟件模塊,該模塊集成于多維遙感分析(MARS)軟件中。
1 研究意義
多維數(shù)據(jù)格式通過全方位地記錄并一體化組織地球表面的各種信息,可以構(gòu)建更完整、精確的地球系統(tǒng)模型,有助于深入研究地球的大氣、陸地、海洋等各圈層之間的相互作用和物質(zhì)能量循環(huán)。同時,多維數(shù)據(jù)格式解決了現(xiàn)有數(shù)據(jù)格式以及傳統(tǒng)時間序列變化檢測存在的部分問題。
1)解決數(shù)據(jù)格式兼容性問題。隨著遙感技術(shù)的發(fā)展,多種衛(wèi)星平臺和傳感器不斷涌現(xiàn),各自采用不同的數(shù)據(jù)格式,這種格式差異使得數(shù)據(jù)難以直接整合和共享。因此,實現(xiàn)對多源長時間序列遙感數(shù)據(jù)的統(tǒng)一管理,對科學研究是極為重要的。
2)傳統(tǒng)遙感時間序列變化檢測仍存在問題。
在時間維上,僅針對單一像元的時間序列數(shù)據(jù)進行分析,忽略了像元鄰域的空間信息;
在空間維上,沒有考慮像元之間的空間相關(guān)性,部分融合空間特征的算法對空間信息的利用依然很少。
2 國內(nèi)外研究進展
2.1 國外發(fā)展現(xiàn)狀
國際上,遙感數(shù)據(jù)格式種類繁多,廣泛應(yīng)用于不同遙感平臺和傳感器數(shù)據(jù)。國際上常見的遙感數(shù)據(jù)格式雖然在各自的應(yīng)用領(lǐng)域有一定的優(yōu)勢,但也存在局限性。這些格式在數(shù)據(jù)組織和存儲方面,沒有對不同應(yīng)用場景進行詳細的劃分,導致在一些特定的應(yīng)用中,難以滿足針對性的需求。
2.1.1 HDF?EOS
HDF?EOS數(shù)據(jù)格式是美國伊利諾伊大學國家超級計算應(yīng)用中心(NCSA)于1987年研制開發(fā)的一種軟件和函數(shù)庫,主要用來存儲由不同計算機平臺產(chǎn)生的各種類型科學數(shù)據(jù),適用于多種計算機平臺,易于擴展。其核心存儲原理圍繞分層數(shù)據(jù)管理、地理空間數(shù)據(jù)類型標準化和元數(shù)據(jù)自描述性展開。HDF?EOS在遙感數(shù)據(jù)處理中展現(xiàn)的核心優(yōu)勢在于其多源數(shù)據(jù)整合能力與地理空間標準化支持。
盡管HDF?EOS功能強大,但其在應(yīng)用中仍面臨顯著挑戰(zhàn)。首先是復雜性帶來的技術(shù)門檻,用戶需同時掌握HDF5數(shù)據(jù)模型、EOS擴展類型定義和地理編碼規(guī)則。存儲效率問題在大規(guī)模遙感場景中凸顯,強制嵌入的元數(shù)據(jù)(尤其是XML格式的全局元數(shù)據(jù))可能導致文件體積膨脹,而HDF5的塊狀存儲機制(chunking)在未合理配置時,會使高頻訪問小范圍數(shù)據(jù)的效率低下。
2.1.2 NetCDF
NetCDF是由美國大學大氣研究協(xié)會的Unidata項目科學家針對科學數(shù)據(jù)的特點開發(fā)的,是一種面向數(shù)組型數(shù)據(jù)的科學數(shù)據(jù)格式,可以有效存儲多維度、多變量的遙感數(shù)據(jù),并支持數(shù)據(jù)的壓縮、子集提取等操作。它廣泛應(yīng)用于大氣科學、水文、海洋學、環(huán)境模擬、地球物理等諸多領(lǐng)域。
NetCDF能夠存儲多維數(shù)組數(shù)據(jù),但是NetCDF格式通常依賴于復雜的數(shù)據(jù)結(jié)構(gòu),如樹或鏈表來組織信息,并且建立在三維立方體模型上,難以用于長時間的數(shù)據(jù)序列分析。其復雜的數(shù)據(jù)模型和長時序處理瓶頸仍制約著超大規(guī)模遙感應(yīng)用。
2.1.3 GeoTIFF
GeoTIFF是在TIFF基礎(chǔ)上擴展而來的。GeoTIFF可以存儲單波段或多波段的遙感圖像數(shù)據(jù),通過其中的地理參考信息,使用者能夠方便地將圖像數(shù)據(jù)與實際地理空間位置關(guān)聯(lián)起來。
在遙感領(lǐng)域,GeoTIFF的核心優(yōu)勢在于地理空間直讀性與廣泛兼容性。但是在處理復雜的多維時空譜遙感數(shù)據(jù)時,GeoTIFF具有一些局限性。例如,對于包含多個時間序列、多種光譜波段和不同空間分辨率的數(shù)據(jù),其組織方式可能會比較繁瑣。雖然GeoTIFF允許通過自定義標簽添加元數(shù)據(jù)(如傳感器參數(shù)、大氣校正系數(shù)),但其標簽體系缺乏結(jié)構(gòu)化層次。對三維(如大氣垂直剖面)或四維數(shù)據(jù)(時間×高度×緯度×經(jīng)度)缺乏原生支持。同時,由于GeoTIFF主要側(cè)重于圖像數(shù)據(jù)和地理參考信息的存儲,對于添加新的數(shù)據(jù)類型(如傳感器的其他輔助數(shù)據(jù))的靈活性相對較低。
2.2 國內(nèi)發(fā)展現(xiàn)狀
中國在遙感數(shù)據(jù)處理與應(yīng)用中對HDF5格式的優(yōu)化改進,主要集中在元數(shù)據(jù)擴展、存儲結(jié)構(gòu)優(yōu)化、性能提升和工具鏈適配等方面,以滿足國產(chǎn)衛(wèi)星數(shù)據(jù)的特殊需求并提升數(shù)據(jù)處理效率。
遙感數(shù)據(jù)具有多樣性和復雜性,包括不同的分辨率、光譜波段、投影方式等。因此,設(shè)計能夠兼容各種類型遙感數(shù)據(jù)的存儲格式是一個巨大挑戰(zhàn)。此外,遙感數(shù)據(jù)量巨大,如何高效地利用存儲空間,避免浪費,是研發(fā)遙感存儲格式時需要重點考慮的問題。
3 最新研究進展
在遙感多維數(shù)據(jù)格式方面,中國取得了重大的創(chuàng)新突破與豐碩成果。
在國際上首次提出多維數(shù)據(jù)格式MDD,構(gòu)建了多維遙感數(shù)據(jù)綜合與表征的理論和技術(shù)體系,促進了國內(nèi)在數(shù)據(jù)組織方面研究的發(fā)展,并獲授權(quán)PCT發(fā)明專利,實現(xiàn)了中國在遙感數(shù)據(jù)格式領(lǐng)域?qū)@耐黄啤D壳埃琈DD成為國家對地觀測科學數(shù)據(jù)中心、全球變化數(shù)據(jù)出版系統(tǒng)認可的數(shù)據(jù)格式。
研發(fā)了國際首個“遙感多維數(shù)據(jù)格式互操作分析軟件系統(tǒng)”,在全球變化數(shù)據(jù)出版系統(tǒng)出版。
同時,研究成果在多個行業(yè)用戶單位進行廣泛推廣和應(yīng)用,產(chǎn)生較好的社會效益和經(jīng)濟效益。
此外,牽頭編寫的團體標準《遙感時空譜多維數(shù)據(jù)格式》被中國地理信息產(chǎn)業(yè)協(xié)會批準發(fā)布實施,成為國家對地觀測科學數(shù)據(jù)中心、全球變化數(shù)據(jù)出版系統(tǒng)認可的數(shù)據(jù)格式。
3.1 多維數(shù)據(jù)的組織與存儲
由于不同傳感器數(shù)據(jù),其波段設(shè)置、光譜響應(yīng)函數(shù)、空間幾何成像等不同,難以直接應(yīng)用于時序分析,因此需要進行數(shù)據(jù)的重構(gòu):
根據(jù)應(yīng)用需求或目標,獲取多源遙感數(shù)據(jù);
進行標準化預(yù)處理,即投影轉(zhuǎn)換、幾何糾正、拼接、裁剪等。
為了準確提取時序特征,一般需要對其進行插值、濾波和融合重構(gòu)。
針對長時序遙感數(shù)據(jù)的組織和存儲問題,MDD數(shù)據(jù)集將多維數(shù)據(jù)的空間、時間和光譜構(gòu)建成一個四維數(shù)據(jù)集,以此來實現(xiàn)對長時序數(shù)據(jù)的統(tǒng)一管理。多維數(shù)據(jù)格式的頭文件中記錄了用于表達和解析影像數(shù)據(jù)體文件的所有元數(shù)據(jù)信息(表1)。同時,多維數(shù)據(jù)結(jié)構(gòu)可以對已生成的文件進行增加或者刪減圖像數(shù)據(jù)等操作。MDD數(shù)據(jù)體文件是存儲影像數(shù)據(jù)的文件,采用二進制的字節(jié)流。
表1 頭文件中包含的信息
![]()
類似于傳統(tǒng)遙感數(shù)據(jù)的存儲,MDD數(shù)據(jù)依照存儲方式的差異,可分為5種存儲方式,分別如圖1~圖5所示。
TSB數(shù)據(jù)結(jié)構(gòu)適用于對一個時間上或若干個波段的數(shù)據(jù)進行空間維度的處理,可應(yīng)用于提取一個或多個時間所有波段組成的光譜立方體數(shù)據(jù),方便進行光譜鄰域運算和空間域濾波等。
![]()
圖1 數(shù)據(jù)存儲的TSB格式結(jié)構(gòu)
TSP數(shù)據(jù)結(jié)構(gòu)適用于對一個時間的光譜數(shù)據(jù)進行操作,可應(yīng)用于提取一個像元或者一片區(qū)域的光譜曲線或者對不同時間的影像進行光譜特征化。
![]()
圖2 數(shù)據(jù)存儲的TSP格式結(jié)構(gòu)
TIB數(shù)據(jù)結(jié)構(gòu)適用于提取某個波段的時間序列立方體數(shù)據(jù),可應(yīng)用于提取一個波段的時間序列立方體,可以進行光譜時間序列分析或針對某個波段選擇3個時間的數(shù)據(jù)假彩色合成顯示。
![]()
圖3 數(shù)據(jù)存儲的TIB格式結(jié)構(gòu)
TIP格式適用于對像元的時間譜進行處理與分析,可應(yīng)用于提取一個像元或者一片區(qū)域在某個波段的時譜曲線,在時間維度進行平滑和濾波處理,對時譜曲線進行擬合,以及進行預(yù)測分析等。
![]()
圖4 數(shù)據(jù)存儲的TIP格式結(jié)構(gòu)
TIS數(shù)據(jù)結(jié)構(gòu)適用于提取像元光譜曲線的時間序列數(shù)據(jù),可應(yīng)用于提取某一個像元在一個時間范圍內(nèi)的所有光譜曲線并對這些曲線進行三維可視化,并分析該像元的光譜隨著時間變化的特征。
![]()
圖5 數(shù)據(jù)存儲的TIS格式結(jié)構(gòu)
MDD數(shù)據(jù)格式具有靈活性、多維性、擴展性、完整性的特點。
3.2 MDD的計算機配套系統(tǒng)(MARS軟件)
為了使用戶理解和應(yīng)用.mdd數(shù)據(jù)格式,研發(fā)了可用于.mdd數(shù)據(jù)輸入、存儲、分析和輸出的計算機軟件模塊,命名為MDA多維分析計算機軟件模塊,該模塊集成于遙感多維數(shù)據(jù)格式互操作分析軟件系統(tǒng)(簡稱MARS 1.0)中。
MDA是基于MDD多維數(shù)據(jù)格式開發(fā)的集多維數(shù)據(jù)構(gòu)建、多維數(shù)據(jù)分析和多維數(shù)據(jù)可視化于一體的遙感數(shù)據(jù)時空譜多維分析軟件模塊,其具體功能如圖6所示。
![]()
圖6 MARS軟件功能介紹
目前,MDA模塊已經(jīng)集成了對原始MODIS、原始Landsat和經(jīng)處理為ENVI標準數(shù)據(jù)格式的遙感數(shù)據(jù)的MDD數(shù)據(jù)構(gòu)建。利用MDA將原始Landsat數(shù)據(jù)構(gòu)建為MDD數(shù)據(jù)的總體流程如圖7所示。
![]()
圖7 利用MDA模塊以Landsat為數(shù)據(jù)源構(gòu)建MDD的總體流程
3.3 時譜的定義
傳統(tǒng)遙感時序數(shù)據(jù)的存儲和處理方式通常采用離散時間點管理,本質(zhì)上仍停留在三維數(shù)據(jù)處理層面,未能實現(xiàn)對長時序數(shù)據(jù)四維特征的有機整合與深度挖掘。針對這一研究空白,張立福團隊在繼承前人研究成果的基礎(chǔ)上創(chuàng)新性地提出了“時譜”理論。該理論借鑒光譜概念,將地物目標在不同時相的遙感特征序列定義為時譜特征。如圖8所示,特定地物在時間序列上的時譜特征值變化軌跡被稱作時譜曲線。
![]()
圖8 植被指數(shù)時譜曲線示例
時譜特征是指從時譜曲線中提取的統(tǒng)計或時序特征(如最大值、最小值、均值、方差等),用于表征單個像元在某一波段上的時間動態(tài)變化規(guī)律及其光譜特性。多波段時譜特征則是從多波段時譜曲線中提取的復合特征,能夠更全面地刻畫地物的時空?光譜聯(lián)合變化模式。
3.4 遙感時譜理論的應(yīng)用
在生態(tài)環(huán)境領(lǐng)域,能夠有效提升對森林演替過程以及發(fā)展態(tài)勢的理解能力,基于時空譜信息的森林擾動檢測具有更高的敏感度和精準性。在生態(tài)保護修復工程需求的基礎(chǔ)上可形成星空地協(xié)同作用的技術(shù)框架,有效提升生態(tài)保護修復的效果。
徐權(quán)選取了GI、SRI、NDVI和NGRDI 4種常用的植被指數(shù)作為光譜特征空間進行分析,構(gòu)建了時間序列的無人機遙感影像,有效地解決了單一時期影像的弊端,進一步提高了農(nóng)作物的分類精度和效率。
地表覆蓋變化檢測方法,通過對土地變化檢測以及調(diào)查農(nóng)作物種植情況,不僅可以為國家的農(nóng)業(yè)政策及時提供資料,同時也可以使土地利用更加充分,促進人與自然之間的和諧關(guān)系。
時譜的出現(xiàn)使地物有了一種不同的方式來表現(xiàn)其特點,在土地種植類型判斷的問題上就有了別樣的方法和思路。基于時空譜的耕地類型分析也具有全物候的特點,可以很好地消除季節(jié)因素引起的偽變化。Lin等提出了基于時譜特征的地表覆蓋變化檢測方法,如圖9所示。結(jié)果表明所提出方法的有效性和穩(wěn)定性,在不影響定量分析遺漏率的情況下,該方法的錯誤檢測顯著減少。
![]()
圖9 基于時空譜特征的變化檢測方法
4 技術(shù)優(yōu)勢
MDD格式通過一體化存儲時間、空間、光譜維度的信息,解決了數(shù)據(jù)格式不統(tǒng)一的問題,提高了數(shù)據(jù)管理的便捷性和效率。統(tǒng)一的數(shù)據(jù)格式和一體化組織方式使得不同學科的數(shù)據(jù)能夠更好地共享和交互,促進了跨學科的研究合作。
多維時空譜數(shù)據(jù)一體化組織減少了數(shù)據(jù)整合過程中的冗余操作和數(shù)據(jù)轉(zhuǎn)換的復雜性。新的數(shù)據(jù)格式可將時空譜信息有機結(jié)合,在數(shù)據(jù)讀取、預(yù)處理、特征提取等環(huán)節(jié)實現(xiàn)更高效的算法設(shè)計和計算流程優(yōu)化。
統(tǒng)一數(shù)據(jù)格式是實現(xiàn)遙感數(shù)據(jù)廣泛共享和互操作的基礎(chǔ)。在國際合作、不同研究機構(gòu)和企業(yè)之間的數(shù)據(jù)交流中,標準化的數(shù)據(jù)格式能夠確保數(shù)據(jù)的無縫對接和正確解讀。
5 未來展望
MDD的提出加強了與國際組織和其他國家的合作,推動了遙感數(shù)據(jù)格式的標準化和互操作性,為遙感技術(shù)的國際交流與合作提供了新機遇。未來通過拓展MDD數(shù)據(jù)格式在農(nóng)業(yè)、氣象、環(huán)境監(jiān)測、城市規(guī)劃等領(lǐng)域的應(yīng)用,可以推動遙感技術(shù)與GIS、物聯(lián)網(wǎng)等技術(shù)的融合,提升數(shù)據(jù)服務(wù)水平和應(yīng)用效果。
MDD格式為遙感分析帶來效率和精度的顯著提高,并在多個行業(yè)用戶單位進行廣泛推廣和應(yīng)用,產(chǎn)生較好的社會效益和經(jīng)濟效益。
此外,研發(fā)的國際首個“遙感多維數(shù)據(jù)格式互操作分析軟件系統(tǒng)”,在全球變化數(shù)據(jù)出版系統(tǒng)出版后,被多個行業(yè)用戶單位廣泛應(yīng)用。
6 結(jié)論
MDD格式的提出促進了國內(nèi)在遙感數(shù)據(jù)存儲和組織方面研究的發(fā)展,并獲得了國際PCT專利授權(quán),有助于推動遙感技術(shù)的標準化和國際化進程,增強國際交流與合作。MDD格式及配套軟件為遙感數(shù)據(jù)的時空譜多維聯(lián)合分析提供了支持,顯著提升了數(shù)據(jù)處理效率和準確性,有助于深入挖掘遙感數(shù)據(jù)中的信息,為科學研究和應(yīng)用提供更有力的支持。未來,隨著技術(shù)的不斷創(chuàng)新和應(yīng)用領(lǐng)域的不斷拓展,遙感多維數(shù)據(jù)格式將發(fā)揮更加重要的作用,為人類社會發(fā)展和科學研究提供有力支持。
本文作者:張立福、張賽、孫雪劍、趙淑馨、黃長平、高宇、童慶禧
作者簡介:張立福,中國科學院空天信息創(chuàng)新研究院遙感科學國家重點實驗室、中國科學院空天信息創(chuàng)新研究院遙感衛(wèi)星應(yīng)用國家工程研究中心,研究員,研究方向為高光譜遙感機理及多學科應(yīng)用;孫雪劍(通信作者),中國科學院空天信息創(chuàng)新研究院遙感科學國家重點實驗室、中國科學院空天信息創(chuàng)新研究院遙感衛(wèi)星應(yīng)用國家工程研究中心,副研究員,研究方向為高光譜數(shù)據(jù)融合。
文章來 源 : 張立福, 張賽, 孫雪劍, 等. 遙感多維數(shù)據(jù)格式研究進展[J]. 科技導報, 2025, 43(18): 67?76 .
本文有刪改,
內(nèi)容為【科技導報】公眾號原創(chuàng),歡迎轉(zhuǎn)載
白名單回復后臺「轉(zhuǎn)載」
《科技導報》創(chuàng)刊于1980年,中國科協(xié)學術(shù)會刊,主要刊登科學前沿和技術(shù)熱點領(lǐng)域突破性的研究成果、權(quán)威性的科學評論、引領(lǐng)性的高端綜述,發(fā)表促進經(jīng)濟社會發(fā)展、完善科技管理、優(yōu)化科研環(huán)境、培育科學文化、促進科技創(chuàng)新和科技成果轉(zhuǎn)化的決策咨詢建議。常設(shè)欄目有院士卷首語、科技新聞、科技評論、專稿專題、綜述、論文、政策建議、科技人文等。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.