[發(fā)明專利]一種基于多頭自注意力模塊的遙感圖像分類系統(tǒng)及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110609315.6
• 申請(qǐng)日: 2021-06-01
• 公開(kāi)（公告）號(hào): CN113344070A
• 公開(kāi)（公告）日: 2021-09-03
• 發(fā)明（設(shè)計(jì)）人: 業(yè)巧林;范習(xí)健;李彥甫;母園
• 申請(qǐng)（專利權(quán)）人: 南京林業(yè)大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京思拓知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 32288
• 代理人: 苗建

1.一種基于多頭自注意力模塊的遙感圖像分類方法，其特征在于，所述分類方法的工作流程如下：

S100：上傳檢測(cè)圖像，對(duì)所述檢測(cè)圖像的圖像參數(shù)進(jìn)行提取并進(jìn)行縮放點(diǎn)積注意力處理；得到第一處理結(jié)果；

S200：將步驟S100得到的諸多個(gè)第一處理結(jié)果進(jìn)行連接處理，得到連接處理結(jié)果；

S300：將所述連接處理結(jié)果進(jìn)行一次歸一化處理和殘差連接，得到第二處理結(jié)果；

S400：將所述第二處理結(jié)果進(jìn)行特征信息提取；

S500：將步驟S400得到的結(jié)果進(jìn)行第二次歸一化處理和殘差連接得到最終的圖像分類結(jié)果。

2.根據(jù)權(quán)利要求1所述的一種基于多頭自注意力模塊的遙感圖像分類方法，其特征在于，所述檢測(cè)圖像的圖像參數(shù)初始化采用的是正態(tài)隨機(jī)生成的方式。

3.根據(jù)權(quán)利要求1所述的一種基于多頭自注意力模塊的遙感圖像分類方法，其特征在于，所述步驟S100中的圖像參數(shù)包括：檢測(cè)圖像的向量或者矩陣、檢測(cè)圖像的鍵矩陣、檢測(cè)圖像的值矩陣；

所述檢測(cè)圖像的鍵矩陣指所述檢測(cè)圖像中某個(gè)區(qū)域的矩陣；所述檢測(cè)圖像的值矩陣是指將所述檢測(cè)圖像的向量或者矩陣和所述檢測(cè)圖像的鍵矩陣進(jìn)行點(diǎn)乘得到的矩陣；

所述縮放點(diǎn)積注意力處理公式如下：

其中，Q表示檢測(cè)圖像的向量或者矩陣；K表示檢測(cè)圖像的鍵矩陣，而K^T表示所述K矩陣的轉(zhuǎn)置矩陣；V表示檢測(cè)圖像的值矩陣；表示縮放因子。

4.根據(jù)權(quán)利要求1所述的一種基于多頭自注意力模塊的遙感圖像分類方法，其特征在于，所述步驟S100中的縮放點(diǎn)積注意力處理的處理過(guò)程如下：

S101：先將所述檢測(cè)圖像的向量或者矩陣、檢測(cè)圖像的鍵矩陣、檢測(cè)圖像的值矩陣經(jīng)過(guò)多次不同線性映射運(yùn)算得到矩陣：

S102：將所述矩陣：帶入所述縮放點(diǎn)積注意力處理公式得到：

其中，表示經(jīng)過(guò)多次不同線性映射運(yùn)算后的檢測(cè)圖像的向量或者矩陣；表示經(jīng)過(guò)多次不同線性映射運(yùn)算后的檢測(cè)圖像的鍵矩陣；表示經(jīng)過(guò)多次不同線性映射運(yùn)算后的檢測(cè)圖像的值矩陣；表示所述矩陣的轉(zhuǎn)置矩陣；表示縮放因子。

5.根據(jù)權(quán)利要求1所述的一種基于多頭自注意力模塊的遙感圖像分類方法，其特征在于：所述步驟S200中多頭自注意力處理包括以下過(guò)程：

S210：將所述步驟S100得到的一次處理結(jié)果作為所述多頭注意力運(yùn)算中的一個(gè)頭，即：

其中，i表示第i次縮放點(diǎn)積注意力運(yùn)算；head_i表示第i個(gè)頭；

S220：將每一次縮放點(diǎn)積注意力處理后得到的結(jié)果進(jìn)行連接處理；即：

MultiHead(Q，K，V)＝Concat(head₁，head₂，...head_i)