跨模態遙感數據

來自 網絡 的圖片

跨模態遙感數據是指融合多種不同傳感器模態的遙感數據。

簡介

這些數據可能包括光學、雷達（如合成孔徑雷達SAR）、文本、音頻等多種模態的信息。通過融合這些不同模態的數據，可以更全面地挖掘遙感大數據中的信息，提升遙感信息的提取和理解能力。例如，在氣候變化、資源管理和可持續發展等領域，結合再分析、SAR等數據，深入研究多源數據智能融合技術，實現遙感信息的全天候提取，具有重要意義。

此外，跨模態遙感數據的應用還體現在多個方面。例如，中國科學院空天信息創新研究院提出了多模態AI大模型對地觀測的新範式，並研發了高精度、全鏈路的多模態遙感大數據智能解譯系統。這一系統能夠利用跨模態遙感數據，提供更準確、更全面的地物感知和信息提取能力‌。

然而，跨模態遙感數據的應用也面臨一些挑戰，如模態局限性、適應性不足、跨模態關係捕捉不足、泛化能力受限等問題。為了解決這些問題，研究人員正在不斷探索新的技術和方法，以更好地利用跨模態遙感數據。

相關諮詢

首個面向跨模態遙感數據的生成式預訓練大模型發布

以深度學習為代表的人工智能技術已被應用於多種遙感圖像解譯任務中。遙感數據幅寬大、場景內容複雜，一幅標準景圖像往往就可達數十億像素，覆蓋上萬平方公里，與自然場景數據存在較大差異。大多數現有的深度神經網絡模型是利用自然場景圖像預訓練的權重來進行初始化，在遙感數據解譯任務上的性能和普適性有待進一步提升。

中國科學院空天信息創新研究院（以下簡稱「空天院」）牽頭研製首個面向跨模態遙感數據的生成式預訓練大模型「空天·靈眸」（RingMo，Remote Sensing Foundation Model），旨在構建一個通用的多模態多任務模型，為遙感領域多行業應用提供一套通用便捷、性能優良的解決方案。

該團隊深入結合光學、SAR等跨模態遙感數據的成像機理和目標特性，在模型設計、模型訓練、推理優化等方向開展技術創新，並在場景分類、檢測定位、細粒度識別、要素提取及變化檢測等典型下游任務中進行了驗證。該模型在8個國際標準數據集上達到了同類領先水平，有效填補了跨模態生成式預訓練模型在遙感專業領域的空白。同時，空天院與華為公司深度技術合作，基於昇騰AI基礎軟硬件平台，尤其是昇思MindSpore AI框架，將聯合打造靈活易用的自監督預訓練通用套件，可高效支撐大模型並行訓練及下游任務的開發。

以遙感特性為研發驅動

不同於現有遙感預訓練方法通常進行有監督或者對比式學習的範式，「空天·靈眸」模型依託掩膜自編碼結構，是面向複雜場景且更具通用表徵能力的遙感生成式自監督預訓練模型。

例如，針對來自不同平台的遙感數據成像機理和目標特性不一、遙感圖像觀測面積大而目標相對較小、目標尺寸差異較大且分布不均勻等問題，「空天·靈眸」模型採用目標特性引導的自監督學習方法，通過引入幾何、電磁、目標結構等多特性約束，使得模型自動提取遙感地物通用特徵，對新任務有較強的泛化能力。值得一提的是，「空天·靈眸」大模型採用了最近比較流行的ViT和Swin Transformer等Transformer類骨幹網絡，可有效建模遙感數據的局部和全局特徵的依賴關係。