[發明專利]基于人臉特征識別主播的方法及裝置

在審

• 申請號: 201911243502.6
• 申請日: 2019-12-06
• 公開（公告）號: CN111178146A
• 公開（公告）日: 2020-05-19
• 發明（設計）人: 張菁;姚嘉誠;卓力;李晨豪;王立元
• 申請（專利權）人: 北京工業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 張秀程

本發明實施例提供一種基于人臉特征識別主播的方法及裝置，其中方法包括：從待識別主播的直播視頻中截取幀圖像，將所述幀圖像輸入至預先訓練的神經網絡模型，根據所述神經網絡模型的輸出獲得所述待識別主播的人臉特征；根據局部敏感哈希方法將所述人臉特征存儲至預先生成的哈希桶中，將與所述人臉特征處于同一哈希桶內的至少一個特征作為待匹配的樣本主播的人臉特征；計算所述樣本主播的人臉特征與所述待識別主播的人臉特征間的相似度，將相似度最高的樣本主播作為所述待識別主播。本發明實施例適應直播條件下識別主播的要求。

技術領域

本發明涉及視頻監控技術領域，更具體地，涉及基于人臉特征識別主播的方法及裝置。

背景技術

網絡直播，即互聯網直播服務，是一種主播主導、全新的互聯網視聽節目，通常采用視頻、音頻、圖文等形式，實時向公眾播送各種咨詢或節目等。截至2019年6月，我國網絡直播用戶規模達4.33億，占網民整體的50.7％，其中真人秀直播的用戶規模為2.05億，占網民整體的24.0％。

網絡直播吸引著越來越多的用戶，而經濟利益的誘惑和監管上的疏漏等也導致了直播行業的各種亂象。部分主播為了自身利益，不擇手段的吸引觀眾眼球，其手法主要分為兩類。一類是涉嫌違法犯罪的行為，如淫穢色情表演、侵犯隱私、侵犯版權、虛假炒作、尋釁滋事、褻瀆國家象征等；另一類是雖不觸犯法律，但其行為影響惡劣，敗壞社會風氣的行為，如言語暴力低俗、攀比炫富、違規廣告、虐殺動物，不尊重民族歷史文化的內容等。這些主播并非不知道其直播內容不符合規章制度，更多的是抱有即使被所在平臺封殺也可以換一個平臺、賬號繼續直播的僥幸心理，導致此類行為屢禁不止。

為了減少此類網絡不良內容在互聯網上的傳播，需要對不良主播進行跨平臺關聯識別，從而凈化互聯網環境。

發明內容

本發明實施例提供一種克服上述問題或者至少部分地解決上述問題的基于人臉特征識別主播的方法及裝置。

第一個方面，本發明實施例提供一種基于人臉特征識別主播的方法，包括：

從待識別主播的直播視頻中截取幀圖像，將所述幀圖像輸入至預先訓練的神經網絡模型，根據所述神經網絡模型的輸出獲得所述待識別主播的人臉特征；

根據局部敏感哈希方法將所述人臉特征存儲至預先生成的哈希桶中，將與所述人臉特征處于同一哈希桶內的至少一個特征作為待匹配的樣本主播的人臉特征；

計算所述樣本主播的人臉特征與所述待識別主播的人臉特征間的相似度，將相似度最高的樣本主播作為所述待識別主播。

進一步地，所述神經網絡模型包括檢測網絡模型和識別網絡模型；

相應地，所述將所述幀圖像輸入至預先訓練的神經網絡模型，根據所述神經網絡模型的輸出作為所述待識別主播的人臉特征，包括：

將所述幀圖像輸入所述檢測網絡模型，輸出識別框向量；

根據所述識別框向量從所述幀圖像中截取人臉圖像；

將所述人臉圖像輸入至所述識別網絡模型，輸出人臉特征；

其中，所述識別框向量用于表征所述幀圖像中的識別框位置以及識別框內圖案識別為人臉的概率。

進一步地，所述檢測網絡模型為多任務卷積神經網絡；相應地，所述將所述幀圖像輸入所述檢測網絡模型，獲得識別框向量，具體為：

將所述幀圖像縮放為若干張不同縮放比例的圖像；

將所述若干張不同縮放比例的圖像輸入至多任務卷積神經網絡，獲得每張圖像的識別框向量。

進一步地，所述根據所述識別框向量從幀圖像中截取人臉圖像，并輸入至所述識別網絡模型，輸出人臉特征，具體為：