[發明專利]基于人臉特征識別主播的方法及裝置

在審

• 申請號: 201911243502.6
• 申請日: 2019-12-06
• 公開（公告）號: CN111178146A
• 公開（公告）日: 2020-05-19
• 發明（設計）人: 張菁;姚嘉誠;卓力;李晨豪;王立元
• 申請（專利權）人: 北京工業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 張秀程

1.一種基于人臉特征識別主播的方法，其特征在于，包括：

從待識別主播的直播視頻中截取幀圖像，將所述幀圖像輸入至預先訓練的神經網絡模型，根據所述神經網絡模型的輸出獲得所述待識別主播的人臉特征；

根據局部敏感哈希方法將所述人臉特征存儲至預先生成的哈希桶中，將與所述人臉特征處于同一哈希桶內的至少一個特征作為待匹配的樣本主播的人臉特征；

計算所述樣本主播的人臉特征與所述待識別主播的人臉特征間的相似度，將相似度最高的樣本主播作為所述待識別主播。

2.根據權利要求1所述的基于人臉特征識別主播的方法，其特征在于，所述神經網絡模型包括檢測網絡模型和識別網絡模型；

相應地，所述將所述幀圖像輸入至預先訓練的神經網絡模型，根據所述神經網絡模型的輸出作為所述待識別主播的人臉特征，包括：

將所述幀圖像輸入所述檢測網絡模型，輸出識別框向量；

根據所述識別框向量從所述幀圖像中截取人臉圖像；

將所述人臉圖像輸入至所述識別網絡模型，輸出人臉特征；

其中，所述識別框向量用于表征所述幀圖像中的識別框位置以及識別框內圖案識別為人臉的概率。

3.根據權利要求2所述的基于人臉特征識別主播的方法，其特征在于，所述檢測網絡模型為多任務卷積神經網絡；相應地，所述將所述幀圖像輸入所述檢測網絡模型，獲得識別框向量，具體為：

將所述幀圖像縮放為若干張不同縮放比例的圖像；

將所述若干張不同縮放比例的圖像輸入至多任務卷積神經網絡，獲得每張圖像的識別框向量。

4.根據權利要求3所述的基于人臉特征識別主播的方法，其特征在于，所述根據所述識別框向量從幀圖像中截取人臉圖像，并輸入至所述識別網絡模型，輸出人臉特征，具體為：

根據識別為人臉的概率最高的識別框向量從幀圖像中截取人臉圖像，并輸入至所述識別網絡模型，輸出人臉特征。

5.根據權利要求2-4任意一項所述的基于人臉特征識別主播的方法，其特征在于，所述識別網絡模型的訓練方法為：

構建若干個三元組，所述三元組包括基準、正樣本和負樣本，所述基準和正樣本為一個人的兩張不同的樣本人臉圖像，所述負樣本為另一個人的樣本人臉圖像；

將所述三元組輸入至所述識別網絡模型，輸出三元組中基準、正樣本和負樣本的特征向量；

計算所述基準的特征向量與正樣本的特征向量間的余弦相似度以及所述基準的特征向量與負樣本的特征向量間的余弦相似度；

根據兩種余弦相似度確定三元組損失，根據所述三元組損失對所述識別網絡模型進行優化。

6.根據權利要求5所述的基于人臉特征識別主播的方法，其特征在于，所述將所述三元組輸入至所述識別網絡模型，之前還包括：

在所述識別網絡模型的末端添加全連接層和softmax層；

每次選擇單張樣本人臉圖像對所述識別網絡模型進行訓練，當訓練次數達到預設閾值或者所述識別網絡模型的損失小于預設要求時，刪除所述全連接層和softmax層；

其中，所述每次選擇單張樣本人臉圖像對所述識別網絡模型進行訓練，具體為：以單張樣本人臉圖像作為所述識別網絡模型的輸入，以交叉熵函數作為損失函數，計算單張人臉圖像在所述識別網絡模型中的損失和需要更新的參數。

7.根據權利要求6所述的基于人臉特征識別主播的方法，其特征在于，所述計算所述樣本主播的人臉特征與所述待識別主播的人臉特征間的相似度，具體為：

將所述樣本主播的人臉特征與待識別主播的人臉特征進行余弦相似度度量，獲得所述樣本主播的人臉特征與所述待識別主播的人臉特征間的相似度。