[發明專利]基于雙注意力機制的零樣本建筑圖像分類方法

在審

• 申請號: 202211550571.3
• 申請日: 2022-12-05
• 公開（公告）號: CN115830379A
• 公開（公告）日: 2023-03-21
• 發明（設計）人: 張素蘭;寧園園;楊帆;劉愛琴;陳飛
• 申請（專利權）人: 太原科技大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/44
• 代理公司: 太原市科瑞達專利代理有限公司 14101
• 代理人: 趙禛

1.基于雙注意力機制的零樣本建筑圖像分類方法，其特征在于，包括以下步驟：

S1、判別性視覺特征提取：利用ResNeXt-101網絡提取全局特征，通過通道注意網絡學習不同通道權重定位建筑主體，空間注意網絡將位置信息嵌入通道注意圖捕獲目標中的細節特征；

S2、屬性編碼：語義特征由圖像的語義屬性構成，表示類別之間的關系，利用one-hot對所有類別的屬性特征進行編碼，0代表無該屬性，1代表有該屬性，學習視覺空間到子空間中的映射函數，同時將語義屬性向量映射到子空間中；

S3、空間映射與分類：視覺特征由雙注意力得到的特征圖構成，保留圖像中的判別性信息，通過全連接層將視覺注意特征映射到公共子空間中，學習視覺特征到公共空間中映射函數，同時將所有類別編碼后的屬性向量也通過全連接層映射到同一子空間中，學習語義映射函數，并在映射的語義向量中利用最近鄰算法尋找與訓練集的視覺特征相匹配的向量，預測樣本的類別標簽，通過最近鄰匹配實現分類任務。

2.根據權利要求1所述基于雙注意力機制的零樣本建筑圖像分類方法，其特征在于：所述步驟S1包括以下步驟：

S1-1：將數據集的圖像大小初始化為尺寸為256mm×256mm，輸入骨干網絡ResNeXt-101中進行預處理，提取圖像的全局特征，ResNeXt-101的最后一個卷積特征圖的大小為2048×8×8；

S1-2：將步驟S1-1提取的全局特征圖輸入通道注意網絡中，計算各個通道權值，并與全局特征圖進行加權：

W_channel＝SoftMax(f_{c_attention}(F_tmp)),W_channel∈R；

F_ca＝F_tmp×W_channel,F_ca∈R^8×8×16；

式中，f_{c_attention}(·)為通道注意網絡，SoftMax(·)使每個通道的權值之和為1；F_ca為通道注意圖，F_tmp表示壓縮后的全局特征圖，W_channel為通道注意權值；

S1-3：將通道注意圖F_ca輸入空間注意網絡中，尋找圖像空間中重要的區域進行處理，使用多層卷積組成的空間注意模型提取像素的空間權值W_spatial，將空間權值應用于特征圖上計算局部特征注意圖F_att：

W_spatial＝f_{s_attention}(F_ca),W_spatial∈R^8×8；

F_att＝F_ca×W_spatial,F_att∈R^8×8×16；

式中，W_spatial為像素的空間權值，f_{s_attention}(·)為空間注意網絡；F_att為局部特征注意圖，F_ca為通道注意圖。

3.根據權利要求1所述基于雙注意力機制的零樣本建筑圖像分類方法，其特征在于：所述步驟S3包括以下步驟：

S3-1：利用全連接層將提取到的局部特征注意圖F_att映射到公共子空間中，學習視覺映射函數φ(x_i)＝W₁×f_att，式中W₁為視覺映射矩陣；

S3-2：提出使用生成器對映射后的特征進行重建；

S3-3：將所有類別編碼后的屬性向量通過全連接層映射到同一子空間中，學習語義映射函數式中W₂為語義映射矩陣；

S3-4：在公共子空間中預測未見類樣本x^u的類別標簽，即式中D代表歐式距離度量函數，x^u為未見類圖像，φ(x^u)為未見類圖像的視覺映射向量，為第j個類別的語義屬性在公共子空間中的映射向量，arg min D(·)表示向量之間的最小值。