[發明專利]聯合深度數據學習和本體知識推理的可解釋性遙感影像地物分類方法

有效

• 申請號: 202010169797.3
• 申請日: 2020-03-12
• 公開（公告）號: CN111428762B
• 公開（公告）日: 2022-03-15
• 發明（設計）人: 李彥勝;歐陽松;張永軍
• 申請（專利權）人: 武漢大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06V20/10;G06V10/764;G06V10/82;G06F16/36;G06N3/04;G06N3/08;G06N5/04
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 王琪

1.一種聯合深度數據學習和本體知識推理的可解釋性遙感影像地物分類方法，其特征在于，包括以下步驟：

步驟1，離線建立遙感解譯本體RSOntology，所述遙感解譯本體RSOntology作為對地物的本體表達，用于描述地物類別、地物屬性，以及地物之間的相互關系；

步驟2，以圖像原始數據I和額外通道信息E組合作為深度語義分割網絡的輸入數據，基于交叉熵損失函數，通過后向傳播算法優化深度語義分割網絡，利用訓練好的深度語義分割網絡對遙感影像進行分類，得到分類結果圖R以及各像素點P的預測類別C和分類置信度D，其中額外通道信息的初始值為0；

步驟3，使用線性迭代聚類超像素分割方法對圖像原始數據I進行分割，得到分割圖G，圖中包含K個超像素S；根據分類結果圖R統計超像素S的類別C，利用類別信息C對超像素S進行聚類合并，得到推理單元S′，計算推理單元S′的分類類別的置信度并判別其正誤；

步驟4，利用推理單元S′及其相關信息將遙感解譯本體RSOntology中定義的類別實例化，形成知識圖譜；

步驟5，以S′作為推理單元，根據地物之間的相互關系，查找步驟2中分類結果圖R中的分類錯誤的類別并進行改正，得到分類改正結果圖R′；

步驟5中通過以S′作為推理單元，通過以下本體內推理規則得到分類改正結果圖R′，具體實現方式如下，

本體內推理規則1，給定地物類別誤分為植被的推理單元，假如其被裸地、道路、建筑或水體圍繞，則該推理單元的地物類別應該改正為環繞該推理單元的地物的類別；

本體內推理規則2，給定地物類別誤分為裸地的推理單元，假如其被道路、建筑或水體圍繞，則該推理單元的地物類別應該改正為環繞該推理單元的地物的類別；

本體內推理規則3，給定地物類別誤分為建筑的推理單元，假如其被裸地或水體圍繞，則該推理單元的地物類別應該改正為環繞該推理單元的地物的類別；

本體內推理規則4，給定地物類別誤分為水體的推理單元，假如其被植被、建筑或道路圍繞，則該推理單元的地物類別應該改正為環繞該推理單元的地物的類別；

本體內推理規則5，給定地物類別誤分為飛機的推理單元，假如其被植被、建筑或水體圍繞，則該推理單元的地物類別應該改正為環繞該推理單元的地物的類別；

本體內推理規則6，給定地物類別誤分為車輛的推理單元，假如其被植被或水體圍繞，則該推理單元的地物類別應該改正為環繞該推理單元的地物的類別；

本體內推理規則7，誤分地物的分類類別為飛機，與其相鄰的所有正確分類的地物中沒有一個類別為道路，則其分類類別改正為鄰域內占多數的正確分類地物類的類別；

本體內推理規則8，誤分地物的分類類別為車輛，與其相鄰的所有正確分類的地物中沒有一個類別為道路，則其分類類別改正為鄰域內占多數的正確分類地物類的類別；

本體內推理規則9，誤分地物的分類類別為船，其鄰域內不存在正確分類的水體，則其分類類別改正為鄰域內占多數的正確分類地物類的類別；

步驟6，提取分類改正結果圖R′中的陰影和相對高程信息；

步驟7，將提取得到的陰影和相對高程信息作為深度語義分割網絡的額外通道信息E；

步驟8，不斷重復步驟2～7進行迭代，直到步驟2中得到最優的地物分類精度，最后輸出步驟5中地物分類改正結果。

2.根據權利要求1所述的一種聯合深度數據學習和本體知識推理的可解釋性遙感影像地物分類方法，其特征在于：步驟1建立遙感解譯本體RSOntology具體內容包括，

遙感解譯本體RSOntology用于描述地物本體，用于定義根類地物對象類，包括推理單元類、植被、裸地、道路、建筑、水體、飛機、車輛和船；定義推理單元類的直接父類，包含子類正確分類的正分單元類和錯誤分類的誤分單元類，定義地物的類別和核心屬性，包括相鄰、環繞和方位空間關系屬性以及多數類統計屬性。