[發(fā)明專利]基于全局與局部上下文感知的零樣本學(xué)習(xí)圖像分類方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011460544.8
• 申請(qǐng)日: 2020-12-11
• 公開（公告）號(hào): CN112418351B
• 公開（公告）日: 2023-04-07
• 發(fā)明（設(shè)計(jì)）人: 王國(guó)威;陶文源;管乃洋
• 申請(qǐng)（專利權(quán)）人: 天津大學(xué)
• 主分類號(hào): G06V10/764
• 分類號(hào): G06V10/764;G06V10/80;G06V10/77;G06V10/44;G06V10/82;G06N3/0464;G06N3/047;G06N3/08
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 李林娟

1.一種基于全局與局部上下文感知的零樣本學(xué)習(xí)圖像分類方法，其特征在于，所述方法包括：

1)使用深度神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行特征提取，得到多層特征圖；

2)對(duì)任意一層特征圖，使用全局注意力進(jìn)行計(jì)算，得到包含全局信息的特征圖；

3)對(duì)同一層特征圖，使用局部注意力進(jìn)行計(jì)算，得到代表局部信息的特征向量；

4)對(duì)于多層重復(fù)步驟2)與步驟3)的操作，得到多個(gè)全局特征圖和局部特征向量；

5)將最后一層全局特征圖通過(guò)全連接層得到全局特征向量；將多組局部特征向量進(jìn)行逐元素加和，得到完整局部特征向量；

將完整局部特征向量和全局特征向量進(jìn)行拼接，同時(shí)投影到語(yǔ)義空間和隱特征空間，分別采用softmax損失和三元組損失進(jìn)行參數(shù)優(yōu)化；

重復(fù)上述步驟，設(shè)置多個(gè)周期進(jìn)行訓(xùn)練，得到一個(gè)表征能力強(qiáng)的零樣本學(xué)習(xí)模型，通過(guò)訓(xùn)練后的零樣本學(xué)習(xí)模型對(duì)圖像進(jìn)行分類；

所述對(duì)任意一層特征圖，使用全局注意力進(jìn)行計(jì)算，得到包含全局信息的特征圖具體為：

獲取空間自注意力模塊權(quán)重矩陣，利用所得到的權(quán)重矩陣對(duì)特征值進(jìn)行加權(quán)，得到加權(quán)值采用殘差鏈接的方式，在加權(quán)特征的基礎(chǔ)上加上得到

將得到的重定維到與原始特征圖一樣大小，將作為新的特征圖輸入到下一層神經(jīng)網(wǎng)絡(luò)，在多層特征圖采取相同的操作，將全局上下文信息傳遞到最后一層；

所述對(duì)同一層特征圖，使用局部注意力進(jìn)行計(jì)算，得到代表局部信息的特征向量具體為：

通過(guò)空間轉(zhuǎn)換器計(jì)算并與原特征圖進(jìn)行矩陣乘法得到相對(duì)應(yīng)的多個(gè)區(qū)域Rs，對(duì)每一個(gè)區(qū)域Rs，采用inception提取特征：

對(duì)提取的特征采用全局最大池化和全局平均池化對(duì)IR進(jìn)行處理；對(duì)多個(gè)區(qū)域得到的IR′,采用逐元素加法進(jìn)行處理，得到最終代表局部區(qū)域的特征；分別學(xué)習(xí)視覺(jué)-語(yǔ)義映射和視覺(jué)-隱映射，并進(jìn)行拼接。

2.根據(jù)權(quán)利要求1所述的一種基于全局與局部上下文感知的零樣本學(xué)習(xí)圖像分類方法，其特征在于，所述空間自注意力模塊權(quán)重矩陣具體為：

其中，代表變量的維度信息，softmax_col為對(duì)矩陣按照列計(jì)算softmax得分，為重定維查詢特征的轉(zhuǎn)置，為重定維鍵特征，T為轉(zhuǎn)置，L＝H×W為特征圖的長(zhǎng)與寬的乘積。

3.根據(jù)權(quán)利要求2所述的一種基于全局與局部上下文感知的零樣本學(xué)習(xí)圖像分類方法，其特征在于，

所述加權(quán)值為：

其中，α為平衡因子；C為特征圖的通道數(shù)，為重定維的特征圖。