[發(fā)明專利]一種基于多級特征融合的遙感圖像語義描述方法

在審

• 申請?zhí)枺?/td>: 202110577114.2
• 申請日: 2021-05-26
• 公開（公告）號: CN113298151A
• 公開（公告）日: 2021-08-24
• 發(fā)明（設(shè)計）人: 王港;高峰;陳金勇;帥通;王敏;郭爭強
• 申請（專利權(quán)）人: 中國電子科技集團公司第五十四研究所
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04
• 代理公司: 河北東尚律師事務(wù)所 13124
• 代理人: 王文慶

1.一種基于多級特征融合的遙感圖像語義描述方法，其特征在于，所述方法包括以下步驟：

步驟一、獲取原始的高分辨率遙感影像，對獲取的高分辨率遙感影像進行預(yù)處理，得到圖像數(shù)據(jù)集，對于圖像數(shù)據(jù)集中的每個圖像，人工添加語義標注，用自然語言的形式描述圖像內(nèi)容，圖像與語義標注共同構(gòu)成遙感圖像語義描述數(shù)據(jù)集；同時獲取公開的遙感圖像目標檢測數(shù)據(jù)集；

步驟二、將構(gòu)建的遙感圖像語義描述數(shù)據(jù)集和公開的遙感圖像目標檢測數(shù)據(jù)集分別劃分為訓(xùn)練集、驗證集和測試集；

步驟三、將遙感圖像語義描述數(shù)據(jù)集劃分后各個數(shù)據(jù)集中圖像對應(yīng)的語義標注拆分為單個詞，每個單詞作為圖像的一個標簽，利用拆分后的訓(xùn)練集和驗證集數(shù)據(jù)對語義分類模型進行訓(xùn)練及優(yōu)化調(diào)整，利用拆分后的測試集數(shù)據(jù)對語義分類模型進行驗證，獲取圖像的語義特征；同時利用遙感圖像目標檢測數(shù)據(jù)集劃分后的訓(xùn)練集和驗證集數(shù)據(jù)對目標檢測模型進行訓(xùn)練及優(yōu)化調(diào)整，利用測試集數(shù)據(jù)對目標檢測模型進行驗證，獲取圖像的視覺特征；

步驟四、將步驟三獲取的語義特征和視覺特征進行聚合，即將兩組特征拼接在一起，得到圖像多級特征；

步驟五、將步驟四得到的圖像多級特征作為圖像自然語言生成模型的輸入，訓(xùn)練圖像自然語言生成模型；

步驟六、利用步驟二處理后的測試集數(shù)據(jù)對訓(xùn)練好的圖像自然語言生成模型進行驗證，生成遙感圖像的語義描述。

2.如權(quán)利要求1所述的一種基于多級特征融合的遙感圖像語義描述方法，其特征在于，步驟三中利用拆分后的訓(xùn)練集和驗證集數(shù)據(jù)對語義分類模型進行訓(xùn)練及優(yōu)化調(diào)整，利用拆分后的測試集數(shù)據(jù)對語義分類模型進行驗證，獲取圖像的語義特征，具體包括以下過程：

步驟3.1：設(shè)置模型的參數(shù)：設(shè)置ResNet-101語義分類模型的網(wǎng)絡(luò)學(xué)習(xí)率、優(yōu)化函數(shù)、最大迭代次數(shù)、批量訓(xùn)練的大小以及模型保存位置；

步驟3.2：訓(xùn)練模型：利用拆分后的訓(xùn)練集數(shù)據(jù)對ResNet-101語義分類模型的參數(shù)進行訓(xùn)練；

步驟3.3：優(yōu)化模型：根據(jù)拆分后的驗證集數(shù)據(jù)調(diào)整ResNet-101語義分類模型的參數(shù)，優(yōu)化ResNet-101語義分類模型；

步驟3.4：驗證模型：根據(jù)拆分后的測試集數(shù)據(jù)對ResNet-101語義分類模型進行驗證；

步驟3.5：獲取語義特征：在ResNet-101語義分類模型得到的輸出中，根據(jù)每個單詞的概率值大小排序，選擇前K個得分高的單詞，將每個單詞進行編碼，得到語義特征向量；其中，K為設(shè)定值。

3.如權(quán)利要求1所述的一種基于多級特征融合的遙感圖像語義描述方法，其特征在于，步驟三中利用遙感圖像目標檢測數(shù)據(jù)集劃分后的訓(xùn)練集和驗證集數(shù)據(jù)對目標檢測模型進行訓(xùn)練及優(yōu)化調(diào)整，利用測試集數(shù)據(jù)對目標檢測模型進行驗證，獲取圖像的視覺特征，具體包括以下步驟：

步驟4.2：設(shè)置目標檢測模型的參數(shù)：設(shè)置Faster R-CNN目標檢測模型的先驗框大小、網(wǎng)絡(luò)學(xué)習(xí)率、優(yōu)化函數(shù)、最大迭代次數(shù)、批量訓(xùn)練的大小和模型保存位置；

步驟4.3：訓(xùn)練模型：利用遙感圖像目標檢測數(shù)據(jù)集的訓(xùn)練集數(shù)據(jù)對Faster R-CNN目標檢測模型的參數(shù)進行訓(xùn)練；

步驟4.4：優(yōu)化模型：根據(jù)遙感圖像目標檢測數(shù)據(jù)集的驗證集數(shù)據(jù)調(diào)整Faster R-CNN目標檢測模型的訓(xùn)練參數(shù)，優(yōu)化Faster R-CNN目標檢測模型；

步驟4.5：驗證模型：根據(jù)遙感圖像目標檢測數(shù)據(jù)集的測試集數(shù)據(jù)對Faster R-CNN目標檢測模型進行驗證；

步驟4.6：獲取視覺特征：在Faster R-CNN目標檢測模型生成的候選區(qū)域中，根據(jù)區(qū)域是待檢測目標的概率值排序結(jié)果，選擇前P個得分高的候選區(qū)域，對候選區(qū)域提取特征，將P個候選區(qū)域特征聚合在一起，得到視覺特征向量；其中P為設(shè)定值。

4.如權(quán)利要求1所述的一種基于多級特征融合的遙感圖像語義描述方法，其特征在于，步驟五具體包括以下步驟：

步驟5.1：將步驟四獲取的圖像多級特征作為輸入特征向量，將輸入特征向量分割為多個片段，按照一定的順序排列，得到序列化數(shù)據(jù)，并為每個片段添加一個位置向量，以確定每一個描述單詞的位置；

步驟5.2：將每個片段的輸入特征向量通過注意力機制后與輸入特征向量本身進行相加和歸一化；

步驟5.3：相加和歸一化后的特征向量經(jīng)前饋神經(jīng)網(wǎng)絡(luò)進行特征提取與組織，將前饋神經(jīng)網(wǎng)絡(luò)前后的數(shù)據(jù)再次進行相加和歸一化；

步驟5.4：步驟5.3相加和歸一化獲得的結(jié)果，輸出到上一個位置片段的注意力機制上，以持續(xù)獲得不斷片段的排序位置和語言信息；

步驟5.5：將上一個位置片段的注意力機制前后的數(shù)據(jù)進行相加和歸一化，并依次經(jīng)前饋神經(jīng)網(wǎng)絡(luò)和softmax層，得到一個輸出向量，輸出向量的每個位置代表相應(yīng)單詞的得分，選擇概率最大的單詞即當前時刻的輸出結(jié)果；

步驟5.6：重復(fù)步驟5.2至步驟5.5，直到生成一個約定的終止符號，表示圖像自然語言生成模型完成了輸出，將每次得到的單詞連接在一起即為對應(yīng)遙感圖像的語義描述。