[發(fā)明專利]基于SICNN的低質(zhì)量視頻人臉識(shí)別方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011496030.8
• 申請(qǐng)日: 2020-12-17
• 公開（公告）號(hào): CN112580502A
• 公開（公告）日: 2021-03-30
• 發(fā)明（設(shè)計(jì)）人: 袁家斌;陸要要;何珊
• 申請(qǐng)（專利權(quán)）人: 南京航空航天大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/34;G06K9/46;G06K9/62;G06T3/40;G06N3/04;G06N3/08
• 代理公司: 南京瑞弘專利商標(biāo)事務(wù)所(普通合伙) 32249
• 代理人: 陳國(guó)強(qiáng)

1.一種基于SICNN的低質(zhì)量視頻人臉識(shí)別方法，其特征在于，包括以下步驟：

步驟1，數(shù)據(jù)預(yù)處理，將數(shù)據(jù)集中的低質(zhì)量視頻數(shù)據(jù)拆分成圖像幀，人臉檢測(cè)裁剪成32*40px大小的人臉圖像，將圖像集使用算法劃分為訓(xùn)練集和測(cè)試集，數(shù)據(jù)集大小比例為7:3；

步驟2，選取關(guān)鍵幀，將數(shù)據(jù)集中低質(zhì)量視頻人臉圖像幀的關(guān)鍵點(diǎn)位置作為人臉特征，使用K-means聚類算法和隨機(jī)算法選取關(guān)鍵幀；

步驟3，將低質(zhì)量視頻關(guān)鍵幀圖像輸入改進(jìn)的SICNN重建網(wǎng)絡(luò)CNN_H提取特征，進(jìn)行重建獲得超分辨率圖像同時(shí)與高分辨率人臉圖像得到超分辨率重建損失L^SR；

步驟4，將步驟3中重建后的超分辨率圖像輸入改進(jìn)的識(shí)別網(wǎng)絡(luò)CNN_R，提取深度特征，將特征映射到超球體空間進(jìn)行分類識(shí)別，獲得識(shí)別損失L^FR和超身份損失L^SI；

步驟5，使用交替訓(xùn)練策略訓(xùn)練網(wǎng)絡(luò)，使用步驟4得到的識(shí)別損失L^FR訓(xùn)練識(shí)別網(wǎng)絡(luò)，使用步驟4得到加權(quán)的超身份損失L^SI和步驟3得到的超分辨率重建損失L^SR共同訓(xùn)練重建網(wǎng)絡(luò)，直到收斂；

步驟6，將步驟3中SICNN重建后的視頻圖像幀輸入Inception Resnet v2網(wǎng)絡(luò)，使用小卷積來(lái)進(jìn)行特征提取，使用softmax分類器，并改進(jìn)Centerloss作為損失函數(shù)訓(xùn)練網(wǎng)絡(luò)，改進(jìn)的Centerloss是將原來(lái)Centerloss通過(guò)計(jì)算獲得中心改為將高分辨率人臉圖像的特征直接作為中心；

步驟7，將圖像幀的識(shí)別結(jié)果進(jìn)行投票，獲得最終的視頻識(shí)別結(jié)果。

2.根據(jù)權(quán)利要求1所述的基于SICNN的低質(zhì)量視頻人臉識(shí)別方法，其特征在于：所述步驟1中使用的數(shù)據(jù)集為COX數(shù)據(jù)集，訓(xùn)練樣本和測(cè)試樣本使用COX數(shù)據(jù)集已經(jīng)劃分好的十種劃分，結(jié)果取十次實(shí)驗(yàn)的平均值。

3.根據(jù)權(quán)利要求1所述的基于SICNN的低質(zhì)量視頻人臉識(shí)別方法，其特征在于：所述步驟2中K-means算法的K值為5，分別代表5種不同的人臉姿態(tài)：左側(cè)臉、左偏臉、正臉、右偏臉、右側(cè)臉，每組分別使用隨機(jī)算法選取10個(gè)關(guān)鍵幀。

4.根據(jù)權(quán)利要求1所述的基于SICNN的低質(zhì)量視頻人臉識(shí)別方法，其特征在于：所述步驟3中的CNN_H網(wǎng)絡(luò)包括DB、卷積、DB、反卷積、卷積、DB、反卷積、卷積、DB、卷積順序連接；CNN_H網(wǎng)絡(luò)使用DB提取語(yǔ)義特征、使用反卷積放大輸入特征的分辨率、使用卷積實(shí)現(xiàn)映射和重建。

5.根據(jù)權(quán)利要求4所述的基于SICNN的低質(zhì)量視頻人臉識(shí)別方法，其特征在于：每個(gè)DB塊為6個(gè)相同的DenseLayer結(jié)構(gòu)順序連接，每個(gè)DenseLayer結(jié)構(gòu)包含一個(gè)1*1和一個(gè)3*3的卷積層順序連接，1*1的卷積層為瓶頸層；每個(gè)卷積層的組成為Batch Normalization+ReLU+3*3Conv層，DB塊的growth_rate等于32，bn_size等于4。

6.根據(jù)權(quán)利要求1所述的基于SICNN的低質(zhì)量視頻人臉識(shí)別方法，其特征在于：所述步驟4中將SICNN模型中的CNN_R包括36個(gè)卷積層，6個(gè)卷積層和5個(gè)殘差層交替連接，順序?yàn)榫矸e層1a、卷積層1b、殘差層1、卷積層2、殘差層2、卷積層3、殘差層3、卷積層4、殘差層4、卷積層5、殘差層5，每個(gè)殘差層包括一個(gè)卷積層和若干個(gè)殘差塊，5個(gè)殘差層對(duì)應(yīng)的殘差塊數(shù)量分別為1，2，4，6，2；損失函數(shù)使用A-softmax。

7.根據(jù)權(quán)利要求1所述的基于SICNN的低質(zhì)量視頻人臉識(shí)別方法，其特征在于：所述步驟5中超身份損失L^SI是一種perceptual loss計(jì)算標(biāo)準(zhǔn)化的歐幾里得距離。