[發(fā)明專利]一種基于二階混合注意力的行人重識別方法

在審

• 申請?zhí)枺?/td>: 202011231286.6
• 申請日: 2020-11-06
• 公開（公告）號: CN112733590A
• 公開（公告）日: 2021-04-30
• 發(fā)明（設計）人: 馬超;李哲陽;崔鵬
• 申請（專利權）人: 哈爾濱理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京知呱呱知識產(chǎn)權代理有限公司 11577
• 代理人: 孫志一

1.一種二階混合注意力的行人重識別方法，其特征在于，包括以下步驟：

步驟一：構(gòu)建包含二階混合注意力模塊的行人重識別網(wǎng)絡，其中特征提取的骨干網(wǎng)絡為ResNet50的卷積網(wǎng)絡，包含全局分支，二階混合注意力模塊，DropBlock分支；

步驟二：利用train數(shù)據(jù)集對二階混合注意力行人重識別網(wǎng)絡進行訓練，得到網(wǎng)絡模型，其中采用的損失函數(shù)為交叉熵損失函數(shù)和三元損失函數(shù)；

步驟三：將test數(shù)據(jù)集輸入到由步驟二得到的模型，采用平均精度均值mAP和累積匹配特征曲線CMC curve來評估模型效果；

步驟四：把gallery數(shù)據(jù)集輸入到由步驟二得到的模型，保存模型提取的行人圖像特征，最終得到一個行人圖像特征數(shù)據(jù)庫，每個特征都有唯一的行人id；

步驟五：輸入查詢行人圖像得到特征，檢索圖像特征數(shù)據(jù)庫計算出相似度，選出相似度最高的圖片，所述圖片的行人id就是查詢行人圖像的行人id。

2.如權利要求1所述的方法，其特征在于，所述步驟一中構(gòu)建二階混合注意力的行人重識別方法，具體步驟如下：

步驟1.1：采用ResNet50作為骨干網(wǎng)絡，除去ResNet50的全連接層，將Resnet50的第四階段下采樣操作去除，即stage3與stage4中的特征圖大小一樣；二階混合注意力模塊嵌入到ResNet50的stage2和stage3層，關注網(wǎng)絡中行人淺層特征和行人深層特征，輸出加權強化的全局特征；

步驟1.2：二階混合注意力模塊包括二階空間注意力模塊和二階通道注意力模塊；利用全局協(xié)方差池統(tǒng)計特征圖的二階信息，捕捉深層網(wǎng)絡中不同級別的語義信息，以及高層特征之間的關聯(lián)性,引導與強化卷積神經(jīng)網(wǎng)絡去關注特征圖有用的信息而抑制其他非關鍵的信息，針對性地處理各個通道上的信息；

步驟1.3：DropBlock模塊針對卷積層的正則化，關注局部特征的信息，隨機去除特征圖的相同區(qū)域，使得網(wǎng)絡增強對局部特征的學習。

3.如權利要求2所述的方法，其特征在于，所述的二階混合注意力模塊的計算流程為：

步驟A:二階通道注意力模塊輸入特征圖x∈R^C×H×W即Y＝[y₁,y₂,y₃,…,y_C],對其空間壓縮為張量X∈R^C×N，其中N＝H×W；

步驟B:全局協(xié)方差池收到特征圖x,執(zhí)行全局協(xié)方差池運算，得到歸一化協(xié)方差矩陣作為通道描述符z_C；z_C計算公式如下：

步驟C:通過一個可學習變換，即兩層卷積層組成，融合通道的二階信息，最后通過激活函數(shù)Sigmod得到二階通道注意力模塊的權重W_C；W_C計算公式如下：

W_C＝f(W₂β(W₁z_C))

其中,W₁，W₂代表兩個卷積層權重，f和β表示激活函數(shù)Sigmod和Relu；

步驟D:采用殘差學習方案，得到強化的行人特征圖x_C，計算如下：

x_C＝(W_C+1)×x

步驟E:二階空間注意力模塊輸入特征圖x∈R^C×H×W，通過卷積層、批量歸一化和激活函數(shù)relu生成特征映射x₁ x₂,x₃∈R^C×H×W，壓縮x₁,x₂,x₃的空間維度轉(zhuǎn)換成其中N＝H×W；

步驟F:通過全局協(xié)方差池得到歸一化的協(xié)方差矩陣Σ∈R^C×C，計算空間矩陣s:

步驟G:激活函數(shù)softmax對空間矩陣s進行歸一化處理，與x₃矩陣相乘，調(diào)整維度與特征圖x維度大小相同，用激活函數(shù)sigmod為特征圖重新分配空間權重得到二階空間注意力模塊的權重，將注意力權重與原特征圖點乘，進而得到攜帶空間信息的激活特征圖x_S；計算公式如下:

其中,σ代表激活層；

步驟H:采用殘差學習方案對得到二階通道激活圖和二階空間激活圖通過點乘，得到強化的行人特征如下公式：