[發(fā)明專利]一種內(nèi)容審核方法和系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201210559036.4
• 申請(qǐng)日: 2012-12-20
• 公開（公告）號(hào): CN103885964B
• 公開（公告）日: 2017-06-27
• 發(fā)明（設(shè)計(jì)）人: 石海濤;楊剛
• 申請(qǐng)（專利權(quán)）人: 北京新媒傳信科技有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京市隆安律師事務(wù)所11323
• 代理人: 權(quán)鮮枝,董垚

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)和通信領(lǐng)域，特別涉及一種內(nèi)容審核方法和系統(tǒng)。

背景技術(shù)

目前用戶應(yīng)用內(nèi)容審核系統(tǒng)接入的用戶發(fā)布內(nèi)容，數(shù)據(jù)量每月都在快速增長(zhǎng)，并且數(shù)據(jù)量呈現(xiàn)如下特點(diǎn)：

接入的內(nèi)容類型雖然很多，但主要集中在有限的幾個(gè)類型，可以占總量的90%;相同的內(nèi)容轉(zhuǎn)發(fā)頻繁，轉(zhuǎn)發(fā)量非常大。

現(xiàn)有內(nèi)容審核系統(tǒng)的基本審核流程如下：

首先人工維護(hù)一套敏感詞庫(kù)，并實(shí)時(shí)生效;內(nèi)容接入之后進(jìn)行敏感詞過(guò)濾，命中其中一條則進(jìn)行人工審核,如果沒(méi)有命中那么就通過(guò)。

此流程在系統(tǒng)最初上線，用戶發(fā)布內(nèi)容不是很多的時(shí)候，沒(méi)有問(wèn)題。但是當(dāng)內(nèi)容數(shù)量暴增時(shí)，人工審核經(jīng)常會(huì)有積壓，并且在審核時(shí)經(jīng)常需要審核相同多重復(fù)出現(xiàn)的數(shù)據(jù)，造成人力浪費(fèi)。因此，需要一種能夠針對(duì)重復(fù)出現(xiàn)的內(nèi)容，實(shí)時(shí)更新、動(dòng)態(tài)調(diào)整審核基準(zhǔn)，以提升自動(dòng)審核比例的內(nèi)容審核方法和系統(tǒng)。

發(fā)明內(nèi)容

本發(fā)明提供一種內(nèi)容審核方法和系統(tǒng)，以達(dá)到實(shí)時(shí)更新、動(dòng)態(tài)調(diào)整審核基準(zhǔn)，提升自動(dòng)審核比例的效果。為達(dá)到上述目的，本發(fā)明采用如下技術(shù)方案：

本發(fā)明公開了一種內(nèi)容審核方法，使用哈希審核列表審核用戶發(fā)布的內(nèi)容，哈希審核列表的每個(gè)存儲(chǔ)項(xiàng)包括哈希值和審核參數(shù)，該方法包括：

A、讀取用戶發(fā)布的數(shù)據(jù)，從所述用戶發(fā)布的數(shù)據(jù)中選取有效內(nèi)容，使用哈希摘要算法計(jì)算所述有效內(nèi)容的哈希摘要值；

B、判斷所述哈希審核列表中是否存在一個(gè)存儲(chǔ)項(xiàng)，該存儲(chǔ)項(xiàng)包括的哈希值等于所述有效內(nèi)容的哈希摘要值，若判斷為是，則執(zhí)行步驟C，若判斷為否，則執(zhí)行步驟D；

C、將該存儲(chǔ)項(xiàng)之中的審核參數(shù)作為所述用戶發(fā)布的數(shù)據(jù)的審核結(jié)果；

D、使用敏感詞庫(kù)審核所述有效內(nèi)容，若所述有效內(nèi)容未命中敏感詞庫(kù)之中的敏感詞，得到所述用戶發(fā)布的數(shù)據(jù)的審核結(jié)果為通過(guò)，則用戶發(fā)布的數(shù)據(jù)合格;若所述有效內(nèi)容命中敏感詞庫(kù)之中的敏感詞，接收管理人的審核指令，根據(jù)所述審核指令對(duì)所述命中敏感詞的有效內(nèi)容進(jìn)行審核，得到所述用戶發(fā)布的數(shù)據(jù)的審核結(jié)果。

其中，所述根據(jù)所述審核指令對(duì)所述命中敏感詞的有效內(nèi)容進(jìn)行審核，得到所述用戶發(fā)布的數(shù)據(jù)的審核結(jié)果之后，該方法進(jìn)一步包括步驟E：根據(jù)所述審核結(jié)果更新記錄表中的記錄，其中該記錄表中的每一條記錄包括哈希值、審核參數(shù)和審核次數(shù)；判斷所述更新后的記錄的審核次數(shù)是否達(dá)到最大閾值，若判斷為是，則在所述記錄表中刪除該條記錄，并將該條記錄中的哈希值和審核參數(shù)移動(dòng)到所述哈希審核列表中作為存儲(chǔ)項(xiàng)，實(shí)現(xiàn)所述哈希審核列表的更新；其中，所述每一條記錄的哈希值是所述命中敏感詞的有效內(nèi)容的哈希摘要值，審核參數(shù)表示所述命中敏感詞的有效內(nèi)容對(duì)應(yīng)的用戶發(fā)布的數(shù)據(jù)的審核結(jié)果，審核次數(shù)為獲得所述命中敏感詞的有效內(nèi)容對(duì)應(yīng)的用戶發(fā)布的數(shù)據(jù)的審核結(jié)果的次數(shù)。

其中，所述更新記錄表中的記錄，具體包括：判斷記錄表中是否存在一條記錄，該記錄包括的哈希值等于所述命中敏感詞的有效內(nèi)容的哈希摘要值，若判斷為是則修改該條記錄，若判斷為否則新增一條記錄。

其中當(dāng)判斷記錄表中存在一條其包括的哈希值等于所述命中敏感詞的有效內(nèi)容的哈希摘要值的記錄時(shí)，所述修改該條記錄，具體包括：判斷所述用戶發(fā)布的數(shù)據(jù)的審核結(jié)果是否等于該條記錄的審核參數(shù)，若判斷為是則將該條記錄的審核次數(shù)增加1，若判斷為否，則將審核次數(shù)減小1，若審核次數(shù)小于預(yù)設(shè)的最小值，則刪除該條記錄。

其中，所述哈希審核列表的每個(gè)存儲(chǔ)項(xiàng)還包括有效時(shí)間參數(shù)，該有效時(shí)間參數(shù)會(huì)隨時(shí)間遞減；步驟C進(jìn)一步包括：將該存儲(chǔ)項(xiàng)之中的有效時(shí)間參數(shù)設(shè)置為預(yù)設(shè)的最大有效時(shí)間；該方法進(jìn)一步包括：當(dāng)一存儲(chǔ)項(xiàng)的有效時(shí)間參數(shù)隨時(shí)間遞減為0時(shí)，刪除該存儲(chǔ)項(xiàng)。

其中，所述從用戶發(fā)布的數(shù)據(jù)中選取有效內(nèi)容，具體包括：對(duì)用戶發(fā)布的數(shù)據(jù)進(jìn)行切詞分析，濾除對(duì)文義沒(méi)有影響的標(biāo)點(diǎn)符號(hào)及字符。