[發明專利]一種知識圖譜引導深度網絡學習的遙感影像場景分類方法和系統

在審

• 申請號: 202310630415.6
• 申請日: 2023-05-30
• 公開（公告）號: CN116543232A
• 公開（公告）日: 2023-08-04
• 發明（設計）人: 李彥勝;吳敏郎;張永軍
• 申請（專利權）人: 武漢大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06F16/36;G06N5/02;G06N20/00
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 王琪

1.一種知識圖譜引導深度網絡學習的遙感影像場景分類方法，其特征在于：通過知識圖譜中先驗知識的引導來降低基于深度網絡的遙感影像場景分類方法對人工標注訓練樣本的依賴，包括以下步驟：

步驟1，構建土地覆蓋概念知識圖譜；

步驟2，基于土地覆蓋分類知識圖譜進行土地覆蓋概念語義表達，得到遙感場景語義基準，即遙感場景語義類別特征向量集合A；

步驟3，將遙感場景語義類別向量用于引導優化深度網絡進行遙感影像場景分類；

所述深度網絡為開源模型，將開源模型分為淺層部分和深層部分，輸入的遙感影像場景通過淺層部分得到視覺特征，然后通過深層部分得到分類結果；引導優化過程中，先將淺層部分得到視覺特征變換為視覺特征向量集合V，然后通過知識引導學習模塊對集合中視覺特征向量v與場景語義類別向量a進行跨模態對齊約束，引導深度網絡淺層部分更有效地學習遙感場景類別間的共享特征；

所述知識引導學習模塊包含一個視覺特征編碼器E_v、一個視覺特征解碼器D_v、一個語義特征編碼器E_a和一個語義特征解碼器D_a，依次實現視覺特征向量v與場景類別語義類別向量a的跨模態對齊操作，其中v∈V，a∈A；

步驟4，利用優化后的深度網絡進行遙感影像場景分類。

2.根據權利要求1所述的一種知識圖譜引導深度網絡學習的遙感影像場景分類方法，其特征在于：步驟1中構建的土地覆蓋概念知識圖譜包括：領域標準、專家知識、通用知識；

其中領域標準包括國土三調分類體系，該體系按二級分類結構將土地覆蓋分類任務中的遙感場景類別進行了層次化分類，并對每一種類別進行了嚴格的文字定義；

專家知識包括領域專家在遙感領域實踐任務中整理出來的領域知識，包含遙感場景的常見內部結構和遙感場景間的空間關系知識。

3.根據權利要求1所述的一種知識圖譜引導深度網絡學習的遙感影像場景分類方法，其特征在于：步驟2中采取知識圖譜表示學習模型DistMult來進行土地覆蓋概念語義表達，并獲得遙感場景語義類別表示向量，構建起的遙感場景知識圖譜G被表示為事實三元組的集合G＝{h,r,t|h,t∈E,r∈R}，其中E、R分別代表遙感場景知識圖譜的實體集合與關系集合，h、r、t分別代表三元組的頭實體、關系與尾實體，DistMult模型采用一個基于雙線性模型的三元組得分函數來衡量同種關系連接的頭尾實體對之間的語義相似度：

其中，M_r代表關系r所對應的變換矩陣，y_h,y_t分別代表頭尾實體的語義表示向量；

基于上述知識圖譜表示學習的土地覆蓋概念語義表達方法的約束關系，對土地覆蓋概念知識圖譜整體進行表示向量映射，土地覆蓋概念知識圖譜中所有三元組G＝{h,r,t|h,t∈E,r∈R}經過學習后能夠得到知識圖譜中所有實體的語義表達向量集其中為遙感場景知識圖譜中的實體總數，在Y_e中篩選出個遙感場景語義類別對應的實體語義向量，得到遙感場景語義類別特征向量集合即遙感場景語義基準。

4.根據權利要求1所述的一種知識圖譜引導深度網絡學習的遙感影像場景分類方法，其特征在于：步驟3中，采用開源模型efficientnet_b3網絡作為深度網絡，將該開源模型中位于Swish54的激活函數之前的所有卷積層視為淺層部分，并將其提取得到的淺層視覺特征進行引出，輸入到知識引導模塊與語義類別向量進行跨模態對齊，激活函數之后的模型結構即對應地視為深層部分。

5.根據權利要求1所述的一種知識圖譜引導深度網絡學習的遙感影像場景分類方法，其特征在于：步驟3引導優化中采用的總體損失函數包括深度網絡淺層部分的知識嵌入損失和深度網絡深層部分的數據學習損失其中數據學習損失采用常規的交叉熵損失函數，總體損失函數下式所示：

其中，ω為損失平衡權重，為了平衡上述兩個不同的部分引導深度網絡模型學習的效果。