[發明專利]互聯網內容風險評價方法、裝置及服務器

在審

• 申請號: 201710986845.6
• 申請日: 2017-10-20
• 公開（公告）號: CN107832925A
• 公開（公告）日: 2018-03-23
• 發明（設計）人: 賀燕
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06Q50/00;G06F17/27
• 代理公司: 北京眾達德權知識產權代理有限公司11570
• 代理人: 劉杰

技術領域

本說明書實施例涉及互聯網技術領域，尤其涉及一種互聯網內容風險評價方法、裝置及服務器。

背景技術

按照國家有關規定、公司企業相關制度要求，互聯網企業須對所發布的內容進行檢查和處理，檢查的內容主要包含文字、圖像、音頻、視頻(直播)等。互聯網內容龐大，為了提高處理效率，對互聯網內容進行風險評價是必不可少的。

發明內容

本說明書實施例提供及一種互聯網內容風險評價方法、裝置及服務器。

第一方面，本說明書實施例提供一種互聯網內容風險評價方法，包括：對獲取的互聯網內容進行類別判斷；將互聯網內容輸入到對應類別的多個風險識別模型中，得到多個風險識別模型分別輸出的多個風險分值；根據多個風險分值，計算出所述互聯網內容的綜合風險分值。

第二方面，本說明書實施例提供一種互聯網內容風險評價裝置，包括：類別判斷單元，用于對獲取的互聯網內容進行類別判斷；風險識別單元，用于將互聯網內容輸入到對應類別的多個風險識別模型中，得到多個風險識別模型分別輸出的多個風險分值；風險綜合單元，根據多個風險分值，計算出所述互聯網內容的綜合風險分值。

第三方面，本說明書實施例提供一種計算機可讀存儲介質，其上存儲有計算機程序，該程序被處理器執行時實現上述任一項所述互聯網內容風險評價方法的步驟。

第四方面，本說明書實施例提供一種服務器，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述程序時實現上述任一項所述互聯網內容風險評價方法的步驟。

本說明書實施例有益效果如下：

現有的審核模式是將需要人工審核的內容簡單地按時間順序(倒序)排列審核。該審核模式造成的后果是：沒有按風險程度高低進行排序審核，可能導致風險程度較高的內容延后處理，使得該高風險內容外露滯留的時間較長。極端情況下，由于新的風險內容持續產生，使得歷史高風險內容一直得不到處理，導致風險持續擴散。本說明書實施例提供的互聯網內容風險評價方法，根據各個風險模型給出的風險值進行加權處理得到綜合風險分值，通過該綜合風險分值可以較好的體現互聯網內容本身的風險性；然后基于綜合風險分值選取出高危風險內容進行優先審核，從而減少危險內容外露滯留時間。采用本說明書實施例后，高風險內容排序靠前的概率增大，從而被優先審核的幾率增大，在滿足召回指標的情況下可減少標黑工作量，提高效率。

附圖說明

圖1為本說明書實施例的互聯網內容風險評價應用場景示意圖；

圖2為本說明書實施例第一方面提供的互聯網內容風險評價方法流程圖；

圖3為本說明書實施例第一方面提供的互聯網內容風險評價方法中綜合風險分值計算原理示意圖；

圖4為本說明書實施例第一方面提供的互聯網內容風險評價方法示例流程圖；

圖5為本說明書實施例第二方面提供的互聯網內容風險評價裝置機構示意圖；

圖6為本說明書實施例第四方面提供的用于互聯網內容風險評價的服務器結構示意圖。

具體實施方式

為了更好的理解上述技術方案，下面通過附圖以及具體實施例對本說明書實施例的技術方案做詳細的說明，應當理解本說明書實施例以及實施例中的具體特征是對本說明書實施例技術方案的詳細的說明，而不是對本說明書技術方案的限定，在不沖突的情況下，本說明書實施例以及實施例中的技術特征可以相互組合。

圖1為本說明書實施例的互聯網內容風險評價應用場景示意圖。用戶在客戶端10操作，比如發布、轉發各類帖子、評論等互聯網內容；客戶端10將互聯網內容發送給網站或APP的業務服務器20；業務服務器20將互聯網內容提供給安全管控服務器30進行安全性管理；安全管控服務器30對互聯網內容進行內容識別、風險控制、審核及質檢等操作。

第一方面，本說明書實施例提供一種互聯網內容風險評價方法，請參考圖2，包括：

S201：對獲取的互聯網內容進行類別判斷。

通過分析互聯網內容的數據，確定互聯網內容的類別為視頻(直播)、音頻、圖片或文本。確定互聯網內容的類別是為了后續將該互聯網內容輸入到對應類別的風險識別模型中。

S202：將互聯網內容輸入到對應類別的多個風險識別模型中，得到多個風險識別模型分別輸出的多個風險分值。