[發(fā)明專利]一種網(wǎng)頁(yè)敏感詞檢測(cè)方法、檢測(cè)系統(tǒng)及相關(guān)裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202010548352.6
• 申請(qǐng)日: 2020-06-16
• 公開（公告）號(hào): CN111680128A
• 公開（公告）日: 2020-09-18
• 發(fā)明（設(shè)計(jì)）人: 徐凱熙;范淵
• 申請(qǐng)（專利權(quán)）人: 杭州安恒信息技術(shù)股份有限公司
• 主分類號(hào): G06F16/33
• 分類號(hào): G06F16/33;G06F16/953;G06F40/284
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 高勇

1.一種網(wǎng)頁(yè)敏感詞檢測(cè)方法，其特征在于，包括：

獲取網(wǎng)頁(yè)數(shù)據(jù)和檢測(cè)需求；

對(duì)所述網(wǎng)頁(yè)數(shù)據(jù)進(jìn)行文本提取，得到文本關(guān)鍵詞；

利用基于所述檢測(cè)需求的AC自動(dòng)機(jī)對(duì)所述文本關(guān)鍵詞進(jìn)行敏感詞檢測(cè)，得到敏感詞檢測(cè)結(jié)果。

2.根據(jù)權(quán)利要求1所述的網(wǎng)頁(yè)敏感詞檢測(cè)方法，其特征在于，利用基于所述檢測(cè)需求的AC自動(dòng)機(jī)對(duì)所述文本關(guān)鍵詞進(jìn)行敏感詞檢測(cè)之前，還包括：

基于所述檢測(cè)需求生成AC自動(dòng)機(jī)。

3.根據(jù)權(quán)利要求2所述的網(wǎng)頁(yè)敏感詞檢測(cè)方法，其特征在于，基于所述檢測(cè)需求生成AC自動(dòng)機(jī)包括：

根據(jù)所述檢測(cè)需求確定敏感詞組，并生成所述敏感詞組對(duì)應(yīng)的字典樹；

利用雙數(shù)組字典樹生成算法將所述字典樹中的每個(gè)狀態(tài)映射到雙數(shù)組，生成雙數(shù)組字典樹，并記錄所述狀態(tài)在雙數(shù)組中的下標(biāo)；

根據(jù)所述雙數(shù)組字典樹生成AC自動(dòng)機(jī)，所述AC自動(dòng)機(jī)中fail表中存有所述下標(biāo)。

4.根據(jù)權(quán)利要求1所述的網(wǎng)頁(yè)敏感詞檢測(cè)方法，其特征在于，對(duì)所述網(wǎng)頁(yè)數(shù)據(jù)進(jìn)行文本提取，得到文本關(guān)鍵詞包括：

對(duì)所述網(wǎng)頁(yè)數(shù)據(jù)進(jìn)行文本分割，得到最短詞語(yǔ)集合；

利用Textrank將所述最短詞語(yǔ)集合作為節(jié)點(diǎn)構(gòu)建網(wǎng)絡(luò)，利用PageRank迭代計(jì)算所述網(wǎng)絡(luò)中每個(gè)節(jié)點(diǎn)的rank值，對(duì)所述rank值排序得到所述文本關(guān)鍵詞。

5.根據(jù)權(quán)利要求4所述的網(wǎng)頁(yè)敏感詞檢測(cè)方法，其特征在于，對(duì)所述網(wǎng)頁(yè)數(shù)據(jù)進(jìn)行文本分割，得到最短詞語(yǔ)集合包括：

利用基于HanLP分詞算法的詞法分析器對(duì)所述網(wǎng)頁(yè)數(shù)據(jù)進(jìn)行文本分割，得到最短詞語(yǔ)集合。

6.根據(jù)權(quán)利要求1所述的網(wǎng)頁(yè)敏感詞檢測(cè)方法，其特征在于，得到敏感詞檢測(cè)結(jié)果之后，還包括：

根據(jù)所述文本關(guān)鍵詞所屬類別過濾所述敏感詞檢測(cè)結(jié)果中的誤報(bào)結(jié)果，得到精確檢測(cè)結(jié)果。

7.一種網(wǎng)頁(yè)敏感詞檢測(cè)系統(tǒng)，其特征在于，包括：

獲取模塊，用于獲取網(wǎng)頁(yè)數(shù)據(jù)和檢測(cè)需求；

文本提取模塊，用于對(duì)所述網(wǎng)頁(yè)數(shù)據(jù)進(jìn)行文本提取，得到文本關(guān)鍵詞；

檢測(cè)模塊，用于利用基于所述檢測(cè)需求的AC自動(dòng)機(jī)對(duì)所述文本關(guān)鍵詞進(jìn)行敏感詞檢測(cè)，得到敏感詞檢測(cè)結(jié)果。

8.根據(jù)權(quán)利要求7所述的網(wǎng)頁(yè)敏感詞檢測(cè)系統(tǒng)，其特征在于，還包括：

AC自動(dòng)機(jī)生成模塊，用于基于所述檢測(cè)需求生成AC自動(dòng)機(jī)。

9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-6任一項(xiàng)所述的方法的步驟。

10.一種電子設(shè)備，其特征在于，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器中存有計(jì)算機(jī)程序，所述處理器調(diào)用所述存儲(chǔ)器中的計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如權(quán)利要求1-6任一項(xiàng)所述的方法的步驟。