[發明專利]消息審核方法及裝置

在審

• 申請號: 202210181661.3
• 申請日: 2022-02-25
• 公開（公告）號: CN114547391A
• 公開（公告）日: 2022-05-27
• 發明（設計）人: 王麗偉
• 申請（專利權）人: 中國銀行股份有限公司
• 主分類號: G06F16/903
• 分類號: G06F16/903;G06V30/40;G06N3/04;G06N3/08;H04W4/12
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 周曉飛;湯在彥

1.一種消息審核方法，其特征在于，包括：

接收消息發送方上傳的5G消息；5G消息中包含第一文本信息、第一圖像信息、視頻信息；

對視頻信息進行抽幀處理得到第二圖像信息；

利用預先訓練的文本提取模型提取第一圖像信息、第二圖像信息中的第二文本信息；其中，所述文本提取模型為預先根據標注了文本內容的圖像樣本訓練得到的機器學習模型；

提取第一文本信息、第二文本信息中的關鍵字，將所述關鍵字與預先配置的審核關鍵字表進行字符串匹配；所述審核關鍵字表中配置有審核不能通過的關鍵字；

在字符串匹配結果為不匹配時，將第一圖像信息、第二圖像信息輸入到圖像審核模型中進行不合規內容審核；其中，所述圖像審核模型是根據標注了不合規內容的圖像樣本訓練得到的機器學習模型；

在圖像審核模型輸出的審核通過概率值大于第一預設閾值時，將所述5G消息發送至消息接收方。

2.如權利要求1所述的消息審核方法，其特征在于，還包括：

根據配置人員的配置指令更新所述審核關鍵字表；其中，所述配置指令包括下述至少一種：增加關鍵字、刪除關鍵字、修改關鍵字。

3.如權利要求1所述的消息審核方法，其特征在于，還包括：

在圖像審核模型輸出的審核通過概率值不大于第一預設閾值且大于第二預設閾值時，標注所述5G消息，提示審核人員進行人工審核；

在圖像審核模型輸出的審核通過概率值不大于第二預設閾值時，停止發送所述5G消息，提示消息發送方所述5G消息存在不合規內容。

4.如權利要求3所述的消息審核方法，其特征在于，還包括：

根據人工審核結果，生成新的圖像訓練樣本，將新的圖像訓練樣本更新至樣本庫；

定時檢測所述樣本庫，在所述樣本庫中新增樣本數量達到預設樣本數量閾值時，重新訓練所述圖像審核模型。

5.如權利要求1所述的消息審核方法，其特征在于，所述不合規內容包括企業配置的自定義不合規信息。

6.一種消息審核裝置，其特征在于，包括：

接收模塊，用于接收消息發送方上傳的5G消息；5G消息中包含第一文本信息、第一圖像信息、視頻信息；

第一處理模塊，用于對視頻信息進行抽幀處理得到第二圖像信息；

文本信息提取模塊，用于利用預先訓練的文本提取模型提取第一圖像信息、第二圖像信息中的第二文本信息；其中，所述文本提取模型為預先根據標注了文本內容的圖像樣本訓練得到的機器學習模型；

第二處理模塊，用于提取第一文本信息、第二文本信息中的關鍵字，將所述關鍵字與預先配置的審核關鍵字表進行字符串匹配；所述審核關鍵字表中配置有審核不能通過的關鍵字；

圖像審核模塊，用于在字符串匹配結果小于第一預設閾值時，將第一圖像信息、第二圖像信息輸入到圖像審核模型中進行不合規內容審核；其中，所述圖像審核模型是根據標注了不合規內容的圖像樣本訓練得到的機器學習模型；

發送模塊，用于在圖像審核模型輸出的審核通過概率值大于第一預設閾值時，將所述5G消息發送至消息接收方。

7.如權利要求6所述的消息審核裝置，其特征在于，還包括：第三處理模塊，用于根據配置人員的配置指令更新所述審核關鍵字表；其中，所述配置指令包括下述至少一種：增加關鍵字、刪除關鍵字、修改關鍵字。

8.如權利要求6所述的消息審核裝置，其特征在于，還包括：第四處理模塊，用于在圖像審核模型輸出的審核通過概率值不大于第一預設閾值且大于第二預設閾值時，標注所述5G消息，提示審核人員進行人工審核；

在圖像審核模型輸出的審核通過概率值不大于第二預設閾值時，停止發送所述5G消息，提示消息發送方所述5G消息存在不合規內容。