[發(fā)明專利]基于深度神經(jīng)網(wǎng)絡(luò)和自注意力機(jī)制的遙感船舶圖像目標(biāo)檢測方法

有效

• 申請?zhí)枺?/td>: 202010521534.4
• 申請日: 2020-06-10
• 公開（公告）號: CN111738112B
• 公開（公告）日: 2023-07-07
• 發(fā)明（設(shè)計）人: 李訓(xùn)根;周尚超;呂帥帥;潘勉;馬琪;張戰(zhàn);門飛飛;劉愛林;李子璇
• 申請（專利權(quán)）人: 杭州電子科技大學(xué)
• 主分類號: G06V20/13
• 分類號: G06V20/13;G06V10/44;G06V10/764;G06V10/82;G06N3/044;G06N3/0464;G06N3/047;G06N3/08
• 代理公司: 浙江永鼎律師事務(wù)所 33233
• 代理人: 陸永強(qiáng)

1.一種基于深度神經(jīng)網(wǎng)絡(luò)和自注意力機(jī)制的遙感船舶圖像目標(biāo)檢測方法，其特征在于，包括以下步驟：

S1，收集遙感衛(wèi)星船舶圖像數(shù)據(jù)集，并進(jìn)行樣本標(biāo)注；

S2，對經(jīng)過S1所提取的數(shù)據(jù)集中的樣本進(jìn)行數(shù)據(jù)預(yù)處理；

S3，用經(jīng)過特征金字塔網(wǎng)絡(luò)對預(yù)處理后的樣本進(jìn)行特征提?。?/p>

S4，給水平錨點(diǎn)添加角度參數(shù)，設(shè)置為旋轉(zhuǎn)錨點(diǎn)，再送入RPN網(wǎng)絡(luò)；

S5，搭建RNN網(wǎng)絡(luò)融合Self-Attention，對候選區(qū)域的置信度進(jìn)行重計分；

S6，搭建FastR-CNN網(wǎng)絡(luò)；

S7，對由S1采集到的測試數(shù)據(jù)進(jìn)行訓(xùn)練階段的步驟S2預(yù)處理操作；

S8，將經(jīng)過S7處理的樣本送入S3、S4、S5和S6構(gòu)建的模型中進(jìn)行測試求得結(jié)果，即最后經(jīng)過FastR-CNN輸出分類與回歸的結(jié)果；

所述步驟S5進(jìn)一步包括：

候選區(qū)域置信度重計分的網(wǎng)絡(luò)及結(jié)構(gòu)分為RNN和Self-Attention兩部分；

S501，RNN部分：提取每個候選區(qū)域的置信度和坐標(biāo)為特征向量，作為雙向堆疊循環(huán)神經(jīng)網(wǎng)絡(luò)的輸入，假設(shè)輸入的是特征F_RNN，其中M_i表示第i個雙向RNN的維數(shù)，N表示輸入序列長度，其輸出F_output也是一個長度為N的序列，F(xiàn)_output＝[F_output(1)，F(xiàn)_output(2)，…,F_output(N)]，其中序列中第k個候選區(qū)域所對應(yīng)的向量表示為：

其中，f(·)表示激活函數(shù)，表示對應(yīng)于第i個雙向RNN中所包含的前向RNN的隱藏層輸出矩陣，表示第i個雙向RNN中所包含的前向RNN中所包含的第k個隱藏層狀態(tài)，同樣地，表示對應(yīng)于第i個雙向RNN中所包含的后向RNN的隱藏層輸出矩陣，表示第i個雙向RNN中所包含的后向RNN中所包含的第k個隱藏層狀態(tài)，b_Fi表示第i個雙向RNN的輸出層偏置；

S502，Self-Attention部分：對于每個元素i，自注意力機(jī)制將整個序列表示為角度的向量c_i，由向量序列c_i的所有隱藏向量的平均值加權(quán)再對齊得出的置信度分?jǐn)?shù)為：

其中，L是輸入序列的長度，h_j是元素j的隱藏向量，而a_ij是元素i和元素j之間的對齊的權(quán)重，權(quán)重a_ij是通過Softmax計算為：

其中，exp(score(h_i,h_j))衡量h_i和h_j向量之間的對齊程度，具體使用縮放的向量點(diǎn)積函數(shù)，表示為：

2.如權(quán)利要求1所述的基于深度神經(jīng)網(wǎng)絡(luò)和自注意力機(jī)制的遙感船舶圖像目標(biāo)檢測方法，其特征在于，所述步驟S1進(jìn)一步包括：

S101，從GoogleEarth衛(wèi)星地圖上收集含有船舶目標(biāo)的港口、遠(yuǎn)海、碼頭和湖泊等地的遙感衛(wèi)星圖片，作為訓(xùn)練圖像；

S102，標(biāo)注訓(xùn)練圖像中所有船舶目標(biāo)的類別和位置坐標(biāo)，得到標(biāo)注目標(biāo)；

所述步驟S2進(jìn)一步包括：

S201，將訓(xùn)練圖像剪裁為1000×1000大小的圖片，重疊率為20％；

S202，去除剪裁后訓(xùn)練集中的負(fù)樣本；

S203，對圖片進(jìn)行水平翻轉(zhuǎn)、旋轉(zhuǎn)處理，形成完整的訓(xùn)練數(shù)據(jù)集。

3.如權(quán)利要求1所述的基于深度神經(jīng)網(wǎng)絡(luò)和自注意力機(jī)制的遙感船舶圖像目標(biāo)檢測方法，其特征在于，所述步驟S3進(jìn)一步包括：

首先選用ResNet-101殘差網(wǎng)絡(luò)對輸入遙感衛(wèi)星圖像進(jìn)行特征提取，選擇最后4個殘差模塊的最后一層的特征圖構(gòu)建自底而上的網(wǎng)絡(luò)；然后通過橫向連接和自頂而下的上采樣得到3層特征圖，形成自頂而下的網(wǎng)絡(luò)；對于自頂而下的網(wǎng)絡(luò)，輸入包括自底而上網(wǎng)絡(luò)中對應(yīng)層的特征圖經(jīng)過1×1的卷積的輸出和相鄰上層上采樣后的輸出；最終由自頂而下網(wǎng)絡(luò)的3層P3，P4，P5同時作為特征提取網(wǎng)絡(luò)的輸出。