[發(fā)明專(zhuān)利]一種基于多部件自注意力機(jī)制的行人重識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010467045.5
• 申請(qǐng)日: 2020-05-28
• 公開(kāi)（公告）號(hào): CN111368815B
• 公開(kāi)（公告）日: 2020-09-04
• 發(fā)明（設(shè)計(jì)）人: 陸易;葉喜勇;徐曉剛;張逸;張文廣;祝敏航
• 申請(qǐng)（專(zhuān)利權(quán)）人: 之江實(shí)驗(yàn)室
• 主分類(lèi)號(hào): G06K9/00
• 分類(lèi)號(hào): G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州求是專(zhuān)利事務(wù)所有限公司 33200
• 代理人: 邱啟旺

1.一種基于多部件自注意力機(jī)制的行人重識(shí)別方法，其特征在于，包括以下步驟：

S1：預(yù)訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)骨干模型B；

S2：對(duì)骨干模型B進(jìn)行分段：B_common和B_branch，其中B_branch對(duì)應(yīng)骨干模型B最后一層殘差網(wǎng)絡(luò)layer4，將B_branch深度拷貝2份，得到三條支路：B_branch1，B_branch2，B_branch3，在支路后構(gòu)建多部件自注意力網(wǎng)絡(luò)ANet，獲得行人的多部件自注意力特征F；

S3：將多部件自注意力特征輸入分類(lèi)器CLS，聯(lián)合訓(xùn)練最小化交叉熵?fù)p失L_xent和度量損失L_triplet；

S4：將測(cè)試集圖片輸入訓(xùn)練好的模型，融合輸出的部件特征獲得整體特征f，經(jīng)度量排序?qū)崿F(xiàn)行人重識(shí)別。

所述的步驟S2包括以下子步驟：

S2.1：令B_common和B_branch1，B_branch2，B_branch3對(duì)應(yīng)的學(xué)習(xí)參數(shù)為W_common和W_branch1，W_branch2，W_branch3，W_branch1，W_branch2，W_branch3的初始化參數(shù)一致；行人圖像P經(jīng)過(guò)B_common再分別經(jīng)過(guò)B_branch1，B_branch2，B_branch3后，對(duì)應(yīng)提取到的特征圖分別為F₁∈R^C×H×W，F(xiàn)₂∈R^C×H×W，F(xiàn)₃∈R^C×H×W，其中，C為特征圖通道數(shù)，H為特征圖的高，W為特征圖的寬，計(jì)算公式為：

其中，T表示矩陣轉(zhuǎn)置函數(shù)；

S2.2：在B_branch1后建立分支：基于局部部件的自注意力網(wǎng)絡(luò)PCPA；F₁輸入PCPA，輸出特征集合F_pcpa，PCPA網(wǎng)絡(luò)參數(shù)為W_pcpa；

S2.3：在B_branch2后建立分支：基于全局部件的自注意力網(wǎng)絡(luò)PCA；F₂輸入PCA，輸出特征向量F_pca，PCA網(wǎng)絡(luò)參數(shù)為W_pca；

S2.4：在B_branch3后建立分支：基于全局部件的特征映射網(wǎng)絡(luò)Global；F₃輸入Global，輸出特征向量F_g，Global網(wǎng)絡(luò)參數(shù)為W_global；

S2.5：F_pcpa，F(xiàn)_pca，F(xiàn)_g共同組成多部件自注意力特征集合F。

所述步驟S2.2中的PCPA包括以下子步驟：

S2.2.1：對(duì)于F₁∈R^C×H×W，對(duì)其在高度上進(jìn)行水平平均分割，形成特征圖和

S2.2.2：對(duì)于輸入通過(guò)三條支路：特征映射模塊Identity，空間自注意力模塊PAtt，通道自注意力模塊CAtt；對(duì)應(yīng)地，提取到的特征圖分別為F_{1_up_identity}，F(xiàn)_{1_up_patt}，F(xiàn)_{1_up_catt}，包括以下子步驟：

(a)對(duì)于輸入Identity映射關(guān)系的計(jì)算方式為：

F_{1_up_identity}＝F_{1_up}

(b)對(duì)于輸入空間自注意力模塊PAtt具體為：對(duì)于任意的特征向量x_i，x_j∈F_{1_up}，1≤i≤N，1≤j≤N，在空間尺度上對(duì)其進(jìn)行自注意力關(guān)系建模，得到關(guān)系矩陣D∈R^N*N；對(duì)于D的每一個(gè)值d_k，計(jì)算公式為：

將關(guān)系矩陣D作用于F_{1_up}，并以殘差的形式融入網(wǎng)絡(luò)，得到更新后的特征圖F_{1_up_patt}，計(jì)算公式為：

其中，W_patt為PAtt模塊的參數(shù)，表示矩陣相乘；

(c)對(duì)于輸入通道自注意力模塊CAtt具體為：對(duì)于任意的特征向量c_i，c_j∈F_{1_up}，1≤i≤C，1≤j≤C，在通道尺度上對(duì)其進(jìn)行自注意力關(guān)系建模，得到關(guān)系矩陣E∈R^C*C；對(duì)于E的每一個(gè)值e_k，計(jì)算公式為：

將關(guān)系矩陣E作用于與F_{1_up}，得到更新后的特征圖F_{1_up_catt}，計(jì)算公式為：

其中，W_catt為CAtt模塊的參數(shù)，表示矩陣相乘；

S2.2.3：把F_{1_up_identity}，F(xiàn)_{1_up_patt}，F(xiàn)_{1_up_catt}進(jìn)行融合，得到輸出特征圖F_{1_up_pcpa}，計(jì)算方式為：

F_{1_up_pcpa}＝F_{1_up_identity}+F_{1_up_patt}+F_{1_up_catt}

S2.2.4：對(duì)于操作方式與F_{1_up}一致，得到經(jīng)過(guò)PCPA的輸出特征圖F_{1_down_pcpa}，且與F_{1_up}共享參數(shù)W_patt和W_catt；

S2.2.5：對(duì)F_{1_up_pcpa}和F_{1_down_pcpa}進(jìn)行全局平均池化，得到特征向量集合：

F_pcpa＝{F_{up_pcpa}，F(xiàn)_{down_pcpa}}

其中，F(xiàn)_{up_pcpa}＝AvgP(F_{1_up_pcpa})，F(xiàn)_{down_pcpa}＝AvgP(F_{1_down_pcpa})；AvgP(·)表示全局平均池化操作，計(jì)算公式為：

其中，x_c,w，h為三維特征圖F_{1_up_pcpa}的元素，1≤c≤C₁，1≤w≤W₁，1≤h≤H₁，C₁為F_{1_up_pcpa}特征圖通道數(shù)，W₁為F_{1_up_pcpa}特征圖的寬，H₁為F_{1_up_pcpa}特征圖的高；AvgP(F_{1_down_pcpa})同理。