[發(fā)明專利]一種用于無約束視頻人臉識別的特征圖聚合方法

在審

• 申請?zhí)枺?/td>: 202010835985.5
• 申請日: 2020-08-19
• 公開（公告）號: CN112116547A
• 公開（公告）日: 2020-12-22
• 發(fā)明（設(shè)計）人: 王海濤;王懷斌;羅秋鳳;張魯洋;王海龍;劉強
• 申請（專利權(quán)）人: 南京航空航天大學(xué)
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06K9/00
• 代理公司: 南京蘇高專利商標事務(wù)所(普通合伙) 32204
• 代理人: 向文

1.一種用于無約束視頻人臉識別的特征圖聚合方法，其特征在于：包括如下步驟：

S1：使用深度卷積神經(jīng)網(wǎng)絡(luò)獲取視頻人臉中每幀人臉對應(yīng)的多通道特征圖；

S2：對視頻人臉對應(yīng)的全部多通道特征圖以通道為單位進行重構(gòu)，使得每個通道內(nèi)包含全部人臉幀在該通道的特征圖；

S3：使用特征圖質(zhì)量感知模塊獲得步驟S2中重構(gòu)后的各通道內(nèi)的特征圖的對應(yīng)質(zhì)量分數(shù)；

S4：根據(jù)獲取的對應(yīng)質(zhì)量分數(shù)，將各通道內(nèi)多張?zhí)卣鲌D自適應(yīng)的聚合為一張?zhí)卣鲌D；

S5：將聚合后的多通道特征圖降維為一個特征向量，將該特征向量作為聚合所得的視頻人臉表示。

2.根據(jù)權(quán)利要求1所述的一種用于無約束視頻人臉識別的特征圖聚合方法，其特征在于：所述步驟S1中深度卷積神經(jīng)網(wǎng)絡(luò)具體為：

使用ResNet101網(wǎng)絡(luò)作為基礎(chǔ)DCNN的主體網(wǎng)絡(luò)架構(gòu)，保留ResNet101網(wǎng)絡(luò)中conv1，conv2_x，conv3_x，conv4_x，conv5_x五個部分，丟棄conv5_x后的average pool，1000-d fc以及softmax層，其中，由conv5_x部分輸出的各通道特征圖組成的特征圖集作為聚合模塊的輸入用于聚合任務(wù)。

3.根據(jù)權(quán)利要求1所述的一種用于無約束視頻人臉識別的特征圖聚合方法，其特征在于：所述步驟S3中對應(yīng)質(zhì)量分數(shù)的獲取過程具體為：

特征圖質(zhì)量感知模塊使用一個淺層的神經(jīng)網(wǎng)絡(luò)來獲得特征圖在質(zhì)量空間的映射，然后將全部映射值通過Softmax操作獲得對應(yīng)的質(zhì)量分數(shù)。

4.根據(jù)權(quán)利要求3所述的一種基于特征圖聚合網(wǎng)絡(luò)的無約束視頻人臉識別方法，其特征在于：所述Softmax的公式如下：

式中，S_k表示通道內(nèi)第k張?zhí)卣鲌D對應(yīng)的質(zhì)量分數(shù)，q_i表示第i個特征值。

5.根據(jù)權(quán)利要求3所述的一種用于無約束視頻人臉識別的特征圖聚合方法，其特征在于：所述淺層的神經(jīng)網(wǎng)絡(luò)包括3個卷積層、3個密集連接層以及一個softmax層。

6.根據(jù)權(quán)利要求1所述的一種用于無約束視頻人臉識別的特征圖聚合方法，其特征在于：所述步驟S4具體為：

令A(yù)(·)為特征圖質(zhì)量感知模塊，在k通道的聚合方式如下所示：

其中，C_k為在k通道聚合所得特征圖，f′_k為k通道全部特征圖，f′_ki為k通道第i張?zhí)卣鲌D；聚合后的多通道特征圖表示為F″＝{C₁,C₂,…,C_D}。

7.根據(jù)權(quán)利要求1所述的一種用于無約束視頻人臉識別的特征圖聚合方法，其特征在于：所述步驟S5中的降維過程具體為：

S5-1：在聚合后的特征圖增加兩個卷積層來增強聚合特征的表示，并使用Relu作為激活函數(shù)增加非線性表達；

S5-2：使用全卷積的方式獲得緊湊的特征向量表示，再使用全連接層獲得指定維度輸出。