[發明專利]基于SICNN的低質量視頻人臉識別方法

在審

• 申請號: 202011496030.8
• 申請日: 2020-12-17
• 公開（公告）號: CN112580502A
• 公開（公告）日: 2021-03-30
• 發明（設計）人: 袁家斌;陸要要;何珊
• 申請（專利權）人: 南京航空航天大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06K9/46;G06K9/62;G06T3/40;G06N3/04;G06N3/08
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 陳國強

本發明公開了一種基于SICNN的低質量視頻人臉識別方法，包括以下步驟，首先，根據人臉在視頻中的位置特征，將代表人臉方向的關鍵點位置采用聚類算法進行分類選取關鍵幀；然后，建立SICNN重建模型，通過重建網絡和識別網絡提取特征并分別獲得重建損失和識別損失，以此來定義身份損失，使用交替訓練策略訓練重建網絡，獲得高分辨率且更多身份特征的幀圖像；最后，將重建后的幀圖像輸入識別網絡Inception Resnet v2，提取深度特征進行分類識別，將所有圖像幀的識別結果投票獲得視頻識別結果。本發明實施于低質量視頻人臉識別，有效地提高低質量視頻人臉識別準確率。

技術領域

本發明人臉識別技術領域，尤其涉及一種基于SICNN的低質量視頻人臉識別方法。

背景技術

近年來，計算機視覺的不斷發展促使越來越多的技術落地成為了日常生活中實際的產品。隨著深度神經網絡的興起，人臉識別技術得到了飛速發展。其中圖像人臉識別己經取得了極佳的成就，而視頻人臉識別的研究卻相對來說達不到人們的預期。這是因為視頻人臉識別不止面臨著和圖像人臉識別同樣的光照、遮擋、姿態等問題，而且實際應用中(如監控場景下)視頻的圖像幀質量通常不如圖像。目前，視頻人臉識別方法分為兩類：經典方法和深度學習方法。常用的是深度學習的方法來進行人臉識別，將一段視頻分割為若干個圖像幀，使用這些圖像幀進行人臉識別，對最終的識別結果進行投票得到最后的視頻識別結果。改善低質量視頻常用的方法是超分辨率重建的方法，該方法將低分辨率視頻幀進行重建，獲得視覺效果更好更多特征的超分辨圖像，從而解決識別中高、低分辨率圖像空間特征維度不匹配的問題。

然而，一般的超分辨率重建算法也存在一些問題：以前的超分辨率重建方法大多考量的是輸出影像是否清晰、逼真和視覺效果的改善，從而忽略了其面部特征的恢復，無法生成接近真實身份的人臉，也無法提高人臉識別的準確率，達不到預期的識別效果。

發明內容

本發明的目的是為了克服上述現有超分辨率重建算法中的缺點，提供一種有利于人臉識別的重建算法。本發明采用一種基于SICNN(超身份卷積神經網絡)的低質量視頻人臉識別方法，能夠有效地改善低質量視頻識別效率低的問題，達到好的識別效果。

為實現上述目的，本發明采用的技術方案為：

一種基于SICNN的低質量視頻人臉識別方法，包括以下步驟：

步驟1，數據預處理，將數據集中的低質量視頻數據拆分成圖像幀，人臉檢測裁剪成32*40px大小的人臉圖像，將圖像集使用算法劃分為訓練集和測試集，數據集大小比例為7:3；

步驟2，選取關鍵幀，將數據集中低質量視頻人臉圖像幀的關鍵點位置作為人臉特征，使用K-means聚類算法和隨機算法選取關鍵幀；

步驟3，將低質量視頻關鍵幀圖像輸入改進的SICNN重建網絡CNN_H提取特征，進行重建獲得超分辨率圖像同時與高分辨率人臉圖像得到超分辨率重建損失L^SR；

步驟4，將步驟3中重建后的超分辨率圖像輸入改進的識別網絡CNN_R，提取深度特征，將特征映射到超球體空間進行分類識別，獲得識別損失L^FR和超身份損失L^SI；

步驟5，使用交替訓練策略訓練網絡，使用步驟4得到的識別損失L^FR訓練識別網絡，使用步驟4得到加權的超身份損失L^SI和步驟3得到的超分辨率重建損失L^SR共同訓練重建網絡，直到收斂；

步驟6，將步驟3中SICNN重建后的視頻圖像幀輸入Inception Resnet v2網絡，使用小卷積來進行特征提取，使用softmax分類器，并改進Centerloss作為損失函數訓練網絡，改進的Centerloss是將原來Centerloss通過計算獲得中心改為將高分辨率人臉圖像的特征直接作為中心；