[發明專利]音視頻內容分析方法及裝置

在審

• 申請號: 201710364922.4
• 申請日: 2017-05-22
• 公開（公告）號: CN108932451A
• 公開（公告）日: 2018-12-04
• 發明（設計）人: 王世超
• 申請（專利權）人: 北京金山云網絡技術有限公司;北京金山云科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 北京太合九思知識產權代理有限公司 11610
• 代理人: 劉戈

本發明實施例提供一種音視頻內容分析方法及裝置。其中，方法包括如下的步驟：獲取待處理音視頻；獲取與所述待處理音視頻相關的關聯用戶的屬性信息；根據所述關聯用戶的屬性信息，對所述待處理音視頻進行內容分析以輸出所屬類別信息。本發明實施例提供的技術方案，除了基于待處理音視頻本身外，還結合與待處理音視頻相關的關聯用戶的屬性信息一同來對待處理音視頻進行內容審核，其中關聯用戶的屬性信息中包含有大量的可利用和挖掘的與視頻內容相關的數據，基于這些數據對視頻進行輔助分類，能有效提高審核準確度，且有助于推進視頻審核自動化的進程。

技術領域

本發明涉及計算機技術領域，尤其涉及一種音視頻內容分析方法及裝置。

背景技術

隨著直播行業的快速發展，越來越多的人開始作為主播進入直播行業，在不斷豐富觀眾多樣化觀看需求的同時，也造成直播行業內主播播出的直播內容良莠不齊。

目前，對視頻內容的審核還是以人工審核為主，機器審核為輔。人工審核效率低，成本高，審核人員的工作負荷大，有時難以及時發現違規視頻。

發明內容

現有技術中，機器審核實質上就是采用視頻截圖并鑒定的方式。通過在視頻直播過程中對實時流進行視頻直播截圖并生成圖片，再使用圖像分析系統進行分類。當視頻數量較大且超過服務端的承載能力時，一般會通過視頻流熱度分析、熱門主播、觀看人數變化等數據進行輔助分類，以縮小視頻審核的范圍。其中，上述的視頻流熱度、熱門主播、觀看人數變化等數據可通過服務端(如CDN服務器，內容分發網絡服務器)、日志客戶端采集分析得到。在實際應用中，由于視頻碼率不均勻、違規內容的多樣性等原因，單基于上述提到的幾種數據對視頻進行輔助分類，其準確率低，因此現有技術中還是需要以人工審核為主。

針對現有技術中存在的機器審核準確率低的問題，本發明實施例提供的如下的技術方案，以提高其審核準確性。

于是，在本發明的一個實施例中，提供了一種音視頻內容分析方法。該方法包括：獲取待處理音視頻；獲取與所述待處理音視頻相關的關聯用戶的屬性信息；根據所述關聯用戶的屬性信息，對所述待處理音視頻進行內容分析以輸出所屬類別信息。由于關聯用戶的屬性信息中包含有大量的可利用和挖掘的與音視頻內容相關的數據，基于這些數據來協助視頻內容的審核，能有效的提高音視頻內容審核的準確度，且有助于推進視頻審核自動化的進程。

可選地，所述關聯用戶的屬性信息包含：觀眾屬性信息。相應的，上述獲取與所述待處理音視頻相關的關聯用戶的屬性信息，包括：獲取駐留在觀看所述待處理音視頻觀眾周圍的設備采集到的針對所述觀眾的第一音視頻；和/或從第三方服務平臺、為所述待處理音視頻提供播放平臺的應用客戶端和/或應用服務端，獲取觀看所述待處理音視頻觀眾的用戶信息；根據所述第一音視頻和/或所述觀眾的用戶信息，確定所述觀眾屬性信息。本實施例利用了觀眾側的一個或多個設備以采集相應的信息進而獲知觀眾的觀看反應，使得用于內容分析的輔助數據更加多樣，且實時采集的數據更加直接、更具有針對性，有助于提高視頻內容審核的準確性。

可選地，上述觀眾屬性信息包括：觀看情緒屬性、觀眾所處場景屬性和觀眾畫像中的一項或多項；相應的，上述根據所述第一音視頻和/或所述觀眾的用戶信息，確定所述觀眾屬性信息，可包括：

對所述第一音視頻進行人臉識別以提取第一表情特征；和/或對所述第一音視頻進行動作識別以提取第一動作特征；和/或對所述第一音視頻進行語音識別以提取第一語音特征；根據所述第一表情特征、所述第一動作特征和/或所述第一語音特征，確定所述觀看情緒屬性；

和/或

對所述第一音視頻進行環境識別以得到所述觀眾所處場景屬性；

和/或

將所述觀眾的用戶信息作為用戶畫像構建模型的輸入，得到所述觀眾畫像。