[發明專利]一種內容審核方法、裝置、電子設備及存儲介質

在審

• 申請號: 202310507030.0
• 申請日: 2023-05-04
• 公開（公告）號: CN116662498A
• 公開（公告）日: 2023-08-29
• 發明（設計）人: 胡童欣;金鑫;孫夢姝;徐軍;張鑫;廖凌波;鄧嬌瓊;陸全昊;趙長仁;蘇豫隴
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33;G06F40/30;G06F16/953;G06N20/00
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 周嗣勇

1.一種內容審核方法，包括：

從待審核的內容物料中提取用于審核的文本；

提取所述文本中包含的關鍵詞，以及與所述文本對應的語義信息；

將所述關鍵詞和所述語義信息，輸入至預先訓練完成的端到端的機器學習模型，以由所述端到端的機器學習模型輸出內容審核結果。

2.根據權利要求1所述的方法，所述端到端的機器學習模型包括基于深度學習網絡的深度學習模型。

3.根據權利要求1所述的方法，所述內容物料包括視頻物料、音頻物料、圖片物料和文本物料中的任一或者多個的組合；

所述從待審核的內容物料中提取用于審核的文本，包括：

基于語音識別技術從待審核的視頻物料或音頻物料對應的語音中提取用于審核的文本；

基于文字識別技術從待審核的視頻物料、圖片物料或文本物料中提取用于審核的文本。

4.根據權利要求1所述的方法，所述方法還包括：

基于預設的關鍵詞庫，對提取出的所述用于審核的文本進行篩選，確定出包含關鍵詞的文本。

5.根據權利要求4所述的方法，所述方法還包括：

響應于所述內容審核結果為存在違規，將所述文本中的違規詞補充至所述關鍵詞庫。

6.根據權利要求1所述的方法，所述方法還包括：

對所述用于審核的文本進行命名實體識別處理，確定出所述文本中包含的名詞。

7.根據權利要求6所述的方法，所述將所述關鍵詞和所述語義信息，輸入至預先訓練完成的端到端的機器學習模型，以由所述端到端的機器學習模型輸出內容審核結果，包括：

將所述關鍵詞、所述名詞和所述語義信息，輸入至預先訓練完成的端到端的機器學習模型，以由該模型基于所述語義信息確定文本語義特征，基于所述關鍵詞和所述語義信息確定關鍵詞增強的文本語義特征，基于所述名詞和所述語義信息確定名詞增強的文本語義特征，并基于所述文本語義特征、所述關鍵詞增強的文本語義特征和所述名詞增強的文本語義特征輸出內容審核結果。

8.根據權利要求7所述的方法，所述基于所述文本語義特征、所述關鍵詞增強的文本語義特征和所述名詞增強的文本語義特征輸出內容審核結果，包括：

將所述文本語義特征、所述關鍵詞增強的文本語義特征和所述名詞增強的文本語義特征進行拼接，得到拼接特征；

將所述拼接特征輸入到分類器進行分類，得到內容審核結果。

9.根據權利要求7所述的方法，所述基于所述關鍵詞和所述語義信息確定關鍵詞增強的文本語義特征，包括：

將文本中的關鍵詞對應的權重設置為高于所述文本中其他文字的權重，并基于所述關鍵詞和所述文本的語義信息確定關鍵詞增強的文本語義特征；

所述基于所述名詞和所述語義信息確定名詞增強的文本語義特征，包括：

將文本中的名詞對應的權重設置為高于所述文本中其他文字的權重，并基于所述名詞和所述文本的語義信息確定名詞增強的文本語義特征。

10.一種內容審核裝置，包括：

第一提取模塊，從待審核的內容物料中提取用于審核的文本；

第二提取模塊，提取所述文本中包含的關鍵詞，以及與所述文本對應的語義信息；

輸入模塊，將所述關鍵詞和所述語義信息，輸入至預先訓練完成的端到端的機器學習模型，以由所述端到端的機器學習模型輸出內容審核結果。

11.一種電子設備，包括：

處理器；

用于存儲處理器可執行指令的存儲器；

其中，所述處理器通過運行所述可執行指令以實現如權利要求1-9中任一項所述的方法。

12.一種機器可讀存儲介質，其上存儲有機器可讀指令，該指令被處理器執行時實現如權利要求1-9中任一項所述方法的步驟。