[發明專利]針對違規朋友圈內容以及違規聊天內容的審核方法及系統

有效

• 申請號: 202110265325.2
• 申請日: 2021-03-11
• 公開（公告）號: CN113010708B
• 公開（公告）日: 2023-08-25
• 發明（設計）人: 尤成成;李俊鋒;龔哲;陳建勇
• 申請（專利權）人: 上海麥糖信息科技有限公司
• 主分類號: G06F16/483
• 分類號: G06F16/483;G06F40/194;G06F40/284;G06F40/289;G06N3/08
• 代理公司: 北京酷愛智慧知識產權代理有限公司 11514
• 代理人: 袁克來

本發明提供了違規朋友圈內容以及違規聊天內容的審核方法及系統，方法包括以下步驟：獲取待發表內容數據或聊天內容；如果待發表內容數據或聊天內容中包含預設的違規內容數據庫中的關鍵詞時，定義該待發表內容數據或聊天內容為違規內容；如果待發表內容數據或聊天內容對應的用戶是預設的違規用戶數據庫中的用戶時，根據預設的相似審核算法對待發表內容數據或聊天內容進行審核。該方法根據內容和用戶對待發表內容數據進行雙重審核，提高了審核的準確性，能夠對朋友圈、聊天內容、直播彈幕、個性簽名等違規內容進行有效地審核。

技術領域

本發明屬于媒體傳播技術領域，具體涉及一種違規朋友圈內容以及違規聊天內容的審核方法及系統。

背景技術

目前隨著微信、抖音等交互平臺的廣泛使用，越來越多的用戶喜歡通過朋友圈、聊天內容、直播彈幕、個性簽名等發表各種內容，這就導致了朋友圈、聊天內容、直播彈幕、個性簽名數據內容繁多，且存在大量繁多的題材，如：旅游、美食、音樂、體育、政治等等。而審核人員需要審核發表、聊天內容、直播彈幕、個性簽名等內容中是否存在違規內容，這就提高了對內容審核篩選的壓力。而目前還沒有一種有效的自動監管方法，能夠對朋友圈、聊天內容、直播彈幕、個性簽名等違規內容進行有效地篩查。

發明內容

針對現有技術中的缺陷，本發明提供一種違規朋友圈內容以及違規聊天內容的審核方法及系統，能夠對朋友圈、聊天內容、直播彈幕、個性簽名等違規內容進行有效地審核。

第一方面，一種違規朋友圈內容以及違規聊天內容的審核方法，包括以下步驟：

獲取待發表內容數據或聊天內容；

如果待發表內容數據或聊天內容中包含預設的違規內容數據庫中的關鍵詞時，定義該待發表內容數據或聊天內容為違規內容；

如果待發表內容數據或聊天內容對應的用戶是預設的違規用戶數據庫中的用戶時，根據預設的相似審核算法對待發表內容數據或聊天內容進行審核。

優選地，所述違規用戶數據庫通過以下方法構建：

當檢測到用戶發表違規內容的次數超過預設的違規次數上限時，判斷是否存在所述違規用戶數據庫；

如果存在，將該用戶加入所述違規用戶數據庫；

如果不存在，創建所述違規用戶數據庫，將該用戶加入違規用戶數據庫。

優選地，所述根據預設的相似審核算法對待發表內容數據或聊天內容進行審核具體包括：

獲取該用戶的歷史發表內容數據或歷史聊天內容；

對歷史發表內容數據或歷史聊天內容進行分詞，并提取出發表頻率最高的N個詞匯；

從該N個詞匯中剔除所述違規內容數據庫中的關鍵詞和預設常用數據庫中的常用詞，得到高頻詞匯；

當待發表內容數據或聊天內容中存在該高頻詞匯時，定義該待發表內容數據或聊天內容為違規內容。

優選地，所述高頻詞匯包括文字、拼音或英文字母。

優選地，該方法在所述得到高頻詞匯之后，還包括：

抽取所述違規用戶數據庫中部分用戶的部分高頻詞匯，得到校驗詞匯；

接收人工錄入的校驗結果；所述校驗結果包括人工從校驗詞匯中剔除非違規詞匯后剩下的詞匯；

將校驗詞匯和校驗結果輸入至預設的神經網絡模型中進行機器學習；

將違規用戶數據庫中所有用戶的所有高頻詞匯輸入至學習好的神經網絡模型中，對各個用戶的高頻詞匯進行過濾。

第二方面，一種違規朋友圈內容以及違規聊天內容的審核系統，包括：