[發(fā)明專利]基于視頻的并行時(shí)空注意力行人重識別方法

有效

• 申請?zhí)枺?/td>: 202010084877.9
• 申請日: 2020-02-10
• 公開（公告）號: CN111310633B
• 公開（公告）日: 2023-05-05
• 發(fā)明（設(shè)計(jì)）人: 孔軍;滕振德;蔣敏
• 申請（專利權(quán)）人: 江南大學(xué)
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V20/52;G06V20/40;G06V10/764;G06V10/774;G06V10/80;G06V10/82
• 代理公司: 大連理工大學(xué)專利中心 21200
• 代理人: 劉秋彤;溫福雪

1.基于視頻的并行時(shí)空注意力行人重識別方法，其特征在于，步驟如下：

步驟一、獲取視頻幀：從數(shù)據(jù)集的每段視頻中選取出T幀視頻，其中視頻幀數(shù)T為超參數(shù)；

步驟二、提取視頻幀中的初級空間特征：將步驟一中提取的視頻幀輸入到初級空間特征提取網(wǎng)絡(luò)中，首先使用卷積網(wǎng)絡(luò)分別提取每一幀中的初級空間特征s_i,i＝1,2…,T,然后按照視頻幀的順序?qū)⒊跫壙臻g特征s_i拼接在一起，構(gòu)成該段視頻的初級空間特征集合S＝{s₁,s₂,…,s_i,…,s_T}；

所述步驟二中，初級空間特征提取網(wǎng)絡(luò)的構(gòu)建方法是：

以ResNet網(wǎng)絡(luò)為基礎(chǔ)，使用ResNet50網(wǎng)絡(luò)中前4層conv1至conv4提取視頻幀中行人的初級空間特征，在初級空間特征提取網(wǎng)絡(luò)的訓(xùn)練階段，首先將ResNet50網(wǎng)絡(luò)在ImageNet數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，并在行人重識別數(shù)據(jù)集MARS上進(jìn)行微調(diào)，利用微調(diào)后的ResNet50網(wǎng)絡(luò)實(shí)現(xiàn)初級特征的提取；

步驟三、提取行人時(shí)序特征：將步驟二中生成的初級空間特征集合S輸入到時(shí)序特征提取模塊中，在時(shí)序特征提取模塊中首先使用卷積網(wǎng)絡(luò)進(jìn)一步提取行人的空間特征，然后構(gòu)建全局時(shí)序注意力模塊，計(jì)算時(shí)序注意力權(quán)重W_t∈R^T×T，最后對視頻幀進(jìn)行加權(quán)融合生成行人的時(shí)序特征f_t；

所述步驟三的具體過程為：

輸入初級空間特征集合S，首先使用二維卷積神經(jīng)網(wǎng)絡(luò)來進(jìn)一步提取行人的空間特征，并壓縮每一視頻幀的空間尺寸到1*1，從而得到特征矩陣M；對M分別使用一維卷積神經(jīng)網(wǎng)絡(luò)提取視頻幀中的時(shí)序信息，得到時(shí)序特征θ∈R^T×1和時(shí)序特征然后將θ和進(jìn)行矩陣乘積并經(jīng)過Softmax操作得到時(shí)序注意力權(quán)重W_t∈R^T×T，即

M＝Conv2d(X)

θ＝Conv1d(M)

其中Conv1d為一維卷積神經(jīng)網(wǎng)絡(luò)，Conv2d為二維卷積神經(jīng)網(wǎng)絡(luò)；另外使用空間平均池化的方法從初級空間特征集合S中壓縮空間尺寸到1*1從而得到特征矩陣P；最后將特征矩陣P與權(quán)重矩陣W_t進(jìn)行矩陣相乘，并在時(shí)序上使用平均池化獲得行人的時(shí)序特征f_t；

步驟四、選取權(quán)重最高的視頻幀：按照步驟三中產(chǎn)生的時(shí)序注意力權(quán)重對視頻幀進(jìn)行排序，根據(jù)排序結(jié)果選取出權(quán)重最高的前N幀視頻幀；

所述步驟四中，選取權(quán)重最高的視頻幀的具體過程為：

首先對步驟三中產(chǎn)生的時(shí)序注意力權(quán)重W_t矩陣進(jìn)行按列求和，獲得選擇矩陣W，然后對選擇矩陣W按照數(shù)值大小進(jìn)行排序并記錄最大的前N幀視頻幀的編號，最后根據(jù)編號選擇對應(yīng)前N幀視頻幀送入空間特征提取模塊進(jìn)行進(jìn)一步的特征提取；

步驟五、使用并行空間特征提取模塊提取行人空間特征：將步驟四選取出的權(quán)重最高的前N幀視頻幀所對應(yīng)的初級空間特征s_i∈S分別輸入到空間特征提取模塊中；在空間特征提取模塊首先使用空間卷積注意力模塊計(jì)算每幀的空間注意力概率分布W_s，然后使用該空間注意力概率分布與該幀的初級空間特征進(jìn)行加權(quán)融合得到加權(quán)后的空間特征矩陣最后對生成的空間特征使用卷積操作和空間上的平均池化計(jì)算出權(quán)重最高的前N幀視頻幀最終的行人空間特征f_sⁱ,i＝1,2,…,N；

步驟六、融合行人特征：將步驟三中產(chǎn)生的行人時(shí)序特征f_t和步驟五中產(chǎn)生的N個(gè)行人空間特征f_sⁱ,i＝1,2,…,N使用矩陣拼接的方式沿通道方向融合為最終的行人特征；

步驟七、模型訓(xùn)練：采用三元組損失函數(shù)和交叉熵?fù)p失函數(shù)作為該模型的目標(biāo)函數(shù)，訓(xùn)練得到并行時(shí)空注意力網(wǎng)絡(luò)模型；

所述步驟七中，模型訓(xùn)練的方法為：

采用三元組損失函數(shù)和交叉熵?fù)p失函數(shù)作為目標(biāo)函數(shù)；對提取出的時(shí)序特征f_t和N個(gè)行人空間特征f_sⁱ,i＝1,2,…,N分別使用三元組損失進(jìn)行訓(xùn)練；另外獲取到時(shí)序特征和空間特征后分別使用全連接層獲得行人的ID，然后使用交叉熵?fù)p失函數(shù)進(jìn)行訓(xùn)練；通過對每部分特征進(jìn)行分別訓(xùn)練可以獲得更具有差異性的行人特征，增強(qiáng)模型的魯棒性。