[發明專利]一種面向多模態數據的遙感圖像分類方法

在審

• 申請號: 202110449967.8
• 申請日: 2021-04-25
• 公開（公告）號: CN113065520A
• 公開（公告）日: 2021-07-02
• 發明（設計）人: 張濤;張占杰;金波;周磊
• 申請（專利權）人: 江南大學;深圳市數字城市工程研究中心
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/08;G06N3/04;G06N5/00
• 代理公司: 南京禹為知識產權代理事務所(特殊普通合伙) 32272
• 代理人: 王曉東

1.一種面向多模態數據的遙感圖像分類方法，其特征在于：包括，

基于自步學習策略建立場景目標檢測模型，并通過所述場景目標檢測模型進行跨模態學習；

基于搜索策略和所述場景目標檢測模型構建深度網絡檢測模型，通過所述深度網絡檢測模型對多模態信息進行處理；

基于所述深度網絡檢測模型與所述自步學習策略構建多任務學習模型，利用所述多任務學習模型對遙感圖像進行分類。

2.如權利要求1所述的面向多模態數據的遙感圖像分類方法，其特征在于：建立所述場景目標檢測模型包括，

構建深度網絡模型；

基于強化學習設計優化策略A，對所述深度網絡模型進行優化；

基于所述自步學習策略設計優化策略B，對優化后的深度網絡模型進行正則化處理，生成所述場景目標檢測模型；

其中，所述深度網絡模型由n個流構成，即為n個圖像信息、n個音頻信息和n個文本信息，每個流都由6個層組成，分別是1個輸入層、4個中間層和1個輸出層。

3.如權利要求2所述的面向多模態數據的遙感圖像分類方法，其特征在于：所述優化策略A包括，

在數據生成階段，利用Q網絡與數據所在的網絡環境進行交互；

通過所述深度網絡模型觀察當前數據網絡層，并使用ε-貪心算法進行檢測和優化；

在訓練階段，所述深度網絡模型會利用存儲在重放記憶M中的數據來對網絡進行訓練，更新模型參數。

4.如權利要求2或3所述的面向多模態數據的遙感圖像分類方法，其特征在于：所述優化策略B包括，

定義目標函數如下：

通過目標函數對所述優化后的深度網絡模型進行所述正則化處理，使所述優化后的深度網絡模型稀疏，進而獲得所述場景目標檢測模型；

其中，x_i,y_i∈R^m為雙時相遙感圖像中的對應像素，m為頻帶數，n為像素總數，x和y是融入專家知識后的篩選后的像素區域，ω為權值，T為矩陣的轉置，i為像素區域的橫坐標，j為像素區域的縱坐標。

5.如權利要求4所述的面向多模態數據的遙感圖像分類方法，其特征在于：構建所述深度網絡檢測模型包括，

通過設計深度網絡檢測模型的強化學習機制和優化策略，訓練場景目標檢測模型的參數；

設計深度網絡檢測模型特征的降維算法，以求取卷積后的高層特征v的投影矩陣。

6.如權利要求5所述的面向多模態數據的遙感圖像分類方法，其特征在于：所述強化學習機制和優化策略包括，

定義y為深度網絡檢測模型檢測到的窗口，窗口y的數據分布p(y)如下式：

根據下式固定所述深度網絡檢測模型被降解的底層分布，使得所述窗口y的數據分布p(v)達到最優：

逐層訓練深度網絡檢測模型的模型參數，獲得概率分布如下：

其中，x為繼續貝葉斯降解后的低層特征，q(x)為圖像信息、音頻信息和文本信息上的經驗分布，p(y|v)為深度網絡檢測模型被降解的底層分布，p(v)為深度網絡檢測模型被降解高層的分布；p(s|v)為卷積后的高層特征分布；s為層數，yvisi代表p(y|v，s)，α代表映射關系，i表示具體的層數，k,j∈n且k≠j，k和j表示n層中隨機兩層之間的關系，表示層sⁱ⁺¹和sⁱ之間的相關性，是投票函數和其他部分之間的相關性的權值，和表示偏置項。

7.如權利要求5或6所述的面向多模態數據的遙感圖像分類方法，其特征在于：所述降維算法包括，

利用同類樣本的稀疏表示構造圖，通過所述構造圖描述樣本間的稀疏重構關系；

基于所述稀疏重構關系，利用非參數離差矩陣來提取類間鑒別信息；

通過求解廣義特征值問題求得所述卷積后的高層特征v的投影矩陣。