[發明專利]內容審核輔助處理方法、裝置及電子設備

在審

• 申請號: 202111152562.4
• 申請日: 2021-09-29
• 公開（公告）號: CN114125494A
• 公開（公告）日: 2022-03-01
• 發明（設計）人: 張悅涵;陳萌;鐘偉;張磊;陳超
• 申請（專利權）人: 阿里巴巴（中國）有限公司
• 主分類號: H04N21/233
• 分類號: H04N21/233;H04N21/258;H04N21/2187;H04N21/439;H04N21/45;H04N21/4788
• 代理公司: 北京眾達德權知識產權代理有限公司 11570
• 代理人: 南海燕

本申請實施例公開了內容審核輔助處理方法、裝置及電子設備，所述方法包括：獲取目標會話中產生的多路上行音頻流；獲取所述多個參與者用戶與聲紋特征之間的對應關系；將所述多路上行音頻流合并成混合音頻流，以用于發送到審核系統進行內容安全審核；接收到所述審核系統返回的審核結果后，確定違規內容及其所在的位置，并截取出所述違規內容所在位置處的目標音頻片段；將所截取出的目標音頻片段分別與所述多個參與者用戶的聲紋特征進行匹配判斷，根據匹配結果，將所述違規內容定位到其中至少一個目標參與者用戶。通過本申請實施例，能夠在同一會話關聯多個參與者用戶的情況下，以更低的成本，將違規內容定位到具體的參與者個人。

技術領域

本申請涉及內容審核技術領域，特別是涉及內容審核輔助處理方法、裝置及電子設備。

背景技術

UGC(User Generated Content，用戶生成內容)，也稱用戶原創內容，即用戶將自己原創的內容通過互聯網平臺進行展示或者提供給其他用戶。隨著互聯網、智能設備及各種新生服務的飛速發展，互聯網上的數據呈現爆炸式增長，圖片、視頻、發文、聊天、直播等各種形式的UGC內容已經成為人們表達感情、記錄事件和日常工作不可或缺的組成部分。但是，這些日益增長的內容中也充斥著各種不可控的風險因素，例如色情視頻和圖片、涉政暴恐內容、各種垃圾廣告等等。隨著相關部門監管的日漸嚴格，這些都是各網站及平臺亟待認真對待和管理的工作。因此，內容安全審核系統便應運而生了。這種內容安全審核系統就可以對互聯網中UGC內容的相關風險的安全工作進行管控。

具體而言，內容安全審核系統主要是對用戶在社交平臺上上傳、發布或共享的內容(文字，圖片，音頻，視頻)進行審查。其主要目的是對低質庸俗等違規內容進行過濾篩選，從而生產高質量的內容、防止降低用戶體驗、保持良好的內容調性。例如，其中一種審核場景就是對直播過程中的音頻內容進行審核，也即，判斷用戶在直播過程中的發言內容是否存在違規情況，如果存在，可以提示對應的應用系統對用戶進行處理，類似的場景還有游戲場景，等等。

現有技術在對直播過程中的音頻內容進行安全審核時，通常是以直播間為單位進行審核，也即，對具體直播間中產生的音頻流進行采集，然后提供給審核系統進行安全審核。在實際應用中，一個直播間中可以有多個主播進行發言，另外，由于在直播系統中還可以提供“連麥”功能，使得觀眾用戶也可以在直播間內進行發言，等等。對于這種情況，現有技術的處理方式是，將同一個直播間中產生的多路音頻流合并成一路，然后提供給審核系統進行安全審核。相應的，審核系統可以基于合成后的一路音頻流，進行語音識別，自然語言理解等處理，判斷是否存在違規內容。

這種方式雖然能夠實現對直播內容的內容安全審核，但是只能在直播間粒度上，判斷是否存在違規內容，相應的，如果存在違規內容，則意味著整個直播間都可能會受到懲罰。然而，實際上可能只是其中某個用戶的發言存在違規情況，此時，對整個直播間都進行懲罰是不公平的。因此，在這種場景下，需要具體定位到違規的個人，而不是整個直播間。為了達到該目的，一種方案是，可以將直播過程中每個發言的用戶對應的單路音頻流分別提供給審核系統進行內容安全審核，但是，這會急劇增加內容審核成本，對于大部分應用系統而言，這種成本是不可承受的。另外，隨著直播過程中參與發言的用戶量不斷擴大，也會產生審核系統側的資源耗盡等問題。

因此，在同一會話關聯多個參與者用戶的情況下，如何以更低的成本，將違規內容定位到具體的參與者個人，成為需要本領域技術人員解決的技術問題。

發明內容

本申請提供了內容審核輔助處理方法、裝置及電子設備，能夠在同一會話關聯多個參與者用戶的情況下，以更低的成本，將違規內容定位到具體的參與者個人。

本申請提供了如下方案：

一種內容審核輔助處理方法，包括：

獲取目標會話中產生的多路上行音頻流，所述上行音頻流分別由所述目標會話的多個參與者用戶的客戶端產生；