[發(fā)明專利]一種時空特征融合與樣本注意增強的人臉識別方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110603019.5
• 申請日: 2021-05-31
• 公開（公告）號: CN113239866B
• 公開（公告）日: 2022-12-13
• 發(fā)明（設計）人: 劉芳;李玲玲;任保家;黃欣研;李鵬芳;楊苗苗;李碩;劉旭
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V20/40;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 高博

本發(fā)明公開了一種基于時空特征融合與樣本注意增強的人臉識別方法及系統(tǒng)，通過人臉檢測得到視頻中特定目標人臉序列并對其進行評分；使用時間序列處理算法ConvGRU對人臉序列進行時間特征提??；從人臉序列中選出分數最高的圖像作為關鍵幀；送入到Resnet50網絡中提取出三種不同深度的特征圖，使用空間特征融合算法ASFF計算得到空間特征；最后，將上述得到的時間特征和空間特征在通道維度上拼接后送入全局平均池化層和全連接層，使用提出的ADAM?Softmax損失函數對模型進行訓練；由于ADAM?Softmax損失函數能夠自適應增強對類內差異性較大樣本的注意，從而使得模型在快速收斂同時也能達到較高識別準確率。

技術領域

本發(fā)明屬于計算機視覺技術領域，具體涉及一種基于時空特征融合與樣本注意增強的人臉識別方法及系統(tǒng)。

背景技術

近年來，借助深度學習技術的飛速發(fā)展，基于靜態(tài)圖像的人臉識別技術取得了長足的進步。這得益于不斷更新換代的先進神經網絡架構和科研工作者在特征提取理論上的堅持不懈的付出?；陟o態(tài)圖像的人臉識別技術的進步也推動著相關的應用產品的成功落地，依托CNN網絡的強大的特征提取能力和輕量化神經網絡的實時性能，人臉識別已經在校園安全、生活服務等領域取得了較為不錯的成果。

但是，基于靜態(tài)圖像的人臉識別技術的缺點也很明顯，類似于分布式網絡通信中的單點故障問題，基于靜態(tài)圖像的人臉識別算法性能非常的依賴于輸入圖像的質量?？焖佟蚀_的識別要求輸入圖像清晰、光照均勻、人的姿態(tài)不能有大幅度的偏轉、人臉的關鍵部位不能有遮擋物等等。但是在實際的應用中，尤其是視頻監(jiān)控場景中，被識別的對象或者目標通常是無感知的，而且出現在視頻中的時間和空間都有一定的隨機性。無法保障捕獲的圖像完全符合基于靜態(tài)圖像的人臉識別的技術要求。因此，將靜態(tài)人臉識別技術直接應用到視頻監(jiān)控場景中勢必會導致識別準確率的降低，給應用落地帶來了一定的挑戰(zhàn)。

發(fā)明內容

本發(fā)明所要解決的技術問題在于針對上述現有技術中的不足，提供基于時空特征融合與樣本注意增強的人臉識別方法及系統(tǒng)，通過引入時間序列處理算法ConvGRU和空間特征融合算法ASFF算法來得到魯棒的時空特征，使得算法在圖像質量不佳時也可達到準確進行人臉識別的目的，解決現有的人臉識別方法完全依賴于靜態(tài)圖像的質量的問題。

本發(fā)明采用以下技術方案：

一種基于時空特征融合與樣本注意增強的人臉識別方法，包括以下步驟：

S1、對輸入的視頻進行人臉檢測，得到特定目標類別的人臉邊界框B；

S2、使用步驟S1得到的人臉邊界框B從視頻中提取人臉序列F，并對人臉序列F進行質量評價得到對應的人臉質量分數S；

S3、使用ConvGRU算法對步驟S2中得到的人臉序列F進行時間維度的特征提取，得到時間維度特征F^T；

S4、根據步驟S2中的人臉質量分數S，選出人臉質量分數最高的人臉f_k作為關鍵幀；調整尺寸后送入到Resnet50網絡中提取特征圖；

S5、構造空間特征融合網絡ASFF，對步驟S4中得到的特征圖進行加權融合操作，得到空間維度特征F^S；

S6、將步驟S3得到的時間維度特征F^T和步驟S5中得到的空間維度特征F^S進行通道間的拼接，進行融合操后得到魯棒的時空特征；

S7、在訓練階段，使用ADAM-Softmax損失函數對ConvGRU算法、空間特征融合網絡ASFF和Resnet50網絡構成的人臉識別模型進行調整；在測試階段，使用步驟S6中得到的魯棒時空特征進行人臉識別操作。

具體的，步驟S2中，使用評價網絡Q得到人臉質量評價分數具體為：