[發(fā)明專利]基于人臉特征識(shí)別主播的方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201911243502.6
• 申請(qǐng)日: 2019-12-06
• 公開（公告）號(hào): CN111178146A
• 公開（公告）日: 2020-05-19
• 發(fā)明（設(shè)計(jì)）人: 張菁;姚嘉誠;卓力;李晨豪;王立元
• 申請(qǐng)（專利權(quán)）人: 北京工業(yè)大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62
• 代理公司: 北京路浩知識(shí)產(chǎn)權(quán)代理有限公司 11002
• 代理人: 張秀程

本發(fā)明實(shí)施例提供一種基于人臉特征識(shí)別主播的方法及裝置，其中方法包括：從待識(shí)別主播的直播視頻中截取幀圖像，將所述幀圖像輸入至預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型，根據(jù)所述神經(jīng)網(wǎng)絡(luò)模型的輸出獲得所述待識(shí)別主播的人臉特征；根據(jù)局部敏感哈希方法將所述人臉特征存儲(chǔ)至預(yù)先生成的哈希桶中，將與所述人臉特征處于同一哈希桶內(nèi)的至少一個(gè)特征作為待匹配的樣本主播的人臉特征；計(jì)算所述樣本主播的人臉特征與所述待識(shí)別主播的人臉特征間的相似度，將相似度最高的樣本主播作為所述待識(shí)別主播。本發(fā)明實(shí)施例適應(yīng)直播條件下識(shí)別主播的要求。

技術(shù)領(lǐng)域

本發(fā)明涉及視頻監(jiān)控技術(shù)領(lǐng)域，更具體地，涉及基于人臉特征識(shí)別主播的方法及裝置。

背景技術(shù)

網(wǎng)絡(luò)直播，即互聯(lián)網(wǎng)直播服務(wù)，是一種主播主導(dǎo)、全新的互聯(lián)網(wǎng)視聽節(jié)目，通常采用視頻、音頻、圖文等形式，實(shí)時(shí)向公眾播送各種咨詢或節(jié)目等。截至2019年6月，我國網(wǎng)絡(luò)直播用戶規(guī)模達(dá)4.33億，占網(wǎng)民整體的50.7％，其中真人秀直播的用戶規(guī)模為2.05億，占網(wǎng)民整體的24.0％。

網(wǎng)絡(luò)直播吸引著越來越多的用戶，而經(jīng)濟(jì)利益的誘惑和監(jiān)管上的疏漏等也導(dǎo)致了直播行業(yè)的各種亂象。部分主播為了自身利益，不擇手段的吸引觀眾眼球，其手法主要分為兩類。一類是涉嫌違法犯罪的行為，如淫穢色情表演、侵犯隱私、侵犯版權(quán)、虛假炒作、尋釁滋事、褻瀆國家象征等；另一類是雖不觸犯法律，但其行為影響惡劣，敗壞社會(huì)風(fēng)氣的行為，如言語暴力低俗、攀比炫富、違規(guī)廣告、虐殺動(dòng)物，不尊重民族歷史文化的內(nèi)容等。這些主播并非不知道其直播內(nèi)容不符合規(guī)章制度，更多的是抱有即使被所在平臺(tái)封殺也可以換一個(gè)平臺(tái)、賬號(hào)繼續(xù)直播的僥幸心理，導(dǎo)致此類行為屢禁不止。

為了減少此類網(wǎng)絡(luò)不良內(nèi)容在互聯(lián)網(wǎng)上的傳播，需要對(duì)不良主播進(jìn)行跨平臺(tái)關(guān)聯(lián)識(shí)別，從而凈化互聯(lián)網(wǎng)環(huán)境。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種克服上述問題或者至少部分地解決上述問題的基于人臉特征識(shí)別主播的方法及裝置。

第一個(gè)方面，本發(fā)明實(shí)施例提供一種基于人臉特征識(shí)別主播的方法，包括：

從待識(shí)別主播的直播視頻中截取幀圖像，將所述幀圖像輸入至預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型，根據(jù)所述神經(jīng)網(wǎng)絡(luò)模型的輸出獲得所述待識(shí)別主播的人臉特征；

根據(jù)局部敏感哈希方法將所述人臉特征存儲(chǔ)至預(yù)先生成的哈希桶中，將與所述人臉特征處于同一哈希桶內(nèi)的至少一個(gè)特征作為待匹配的樣本主播的人臉特征；

計(jì)算所述樣本主播的人臉特征與所述待識(shí)別主播的人臉特征間的相似度，將相似度最高的樣本主播作為所述待識(shí)別主播。

進(jìn)一步地，所述神經(jīng)網(wǎng)絡(luò)模型包括檢測網(wǎng)絡(luò)模型和識(shí)別網(wǎng)絡(luò)模型；

相應(yīng)地，所述將所述幀圖像輸入至預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型，根據(jù)所述神經(jīng)網(wǎng)絡(luò)模型的輸出作為所述待識(shí)別主播的人臉特征，包括：

將所述幀圖像輸入所述檢測網(wǎng)絡(luò)模型，輸出識(shí)別框向量；

根據(jù)所述識(shí)別框向量從所述幀圖像中截取人臉圖像；

將所述人臉圖像輸入至所述識(shí)別網(wǎng)絡(luò)模型，輸出人臉特征；

其中，所述識(shí)別框向量用于表征所述幀圖像中的識(shí)別框位置以及識(shí)別框內(nèi)圖案識(shí)別為人臉的概率。

進(jìn)一步地，所述檢測網(wǎng)絡(luò)模型為多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)；相應(yīng)地，所述將所述幀圖像輸入所述檢測網(wǎng)絡(luò)模型，獲得識(shí)別框向量，具體為：

將所述幀圖像縮放為若干張不同縮放比例的圖像；

將所述若干張不同縮放比例的圖像輸入至多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)，獲得每張圖像的識(shí)別框向量。

進(jìn)一步地，所述根據(jù)所述識(shí)別框向量從幀圖像中截取人臉圖像，并輸入至所述識(shí)別網(wǎng)絡(luò)模型，輸出人臉特征，具體為：