[發明專利]敏感文本檢測方法、系統、電子設備及介質

在審

• 申請號: 202010124083.0
• 申請日: 2020-02-27
• 公開（公告）號: CN111339768A
• 公開（公告）日: 2020-06-26
• 發明（設計）人: 范博;王樂;陳宇;周海剛
• 申請（專利權）人: 攜程旅游網絡技術（上海）有限公司
• 主分類號: G06F40/284
• 分類號: G06F40/284;G06F40/30;G06N3/04;G06N3/08
• 代理公司: 上海弼興律師事務所 31283
• 代理人: 薛琦;張冉

本發明公開了一種敏感文本檢測方法、系統、電子設備及介質，其中敏感文本檢測方法包括：至少一用戶終端分別利用正則表達式對各自對應的檢測文本進行敏感詞匹配，并分別得到對應的預敏感文本；將預敏感文本分別輸入至對應的訓練后的深度學習模型進行預測，并得到對應的確定敏感文本。本發明利用正則表達式進行敏感詞匹配能夠快速地篩除未命中敏感詞的文本，并通過后置的深度學習模型，與正則表達式的匹配方式相結合，提高檢測正確率，并能夠保障計算的實時性。

技術領域

本發明涉及數據處理領域，尤其涉及一種敏感文本檢測方法、系統、電子設備及介質。

背景技術

隨著互聯網運用的發展，網絡上會產生大量的用戶原創內容的文本數據，例如旅游網站上的用戶點評、旅游攻略等。針對這些用戶原創內容的文本數據，需要結合國家網絡安全法律法規進行審核，以防止不當言論與非法信息等敏感文本在網絡上傳播。

現有的審校方法通常是使用正則表達式匹配敏感詞的方法，以對網站上的文本數據進行敏感詞過濾。正則表達式匹配是用敏感詞庫中的敏感詞去匹配文本，敏感詞庫為在標準詞庫基礎上添加自定義敏感詞。正則表達式匹配有兩種形式，第一種為文本先分詞再匹配，例如“買了把玩具手槍”，文本分詞之后變成“買了”，“把”，“玩具”，“手槍”四個詞，正則匹配會遍歷這四個詞，“手槍”命中了敏感詞所以“買了把玩具手槍”不合規；第二種為直接匹配，在“買了把玩具手槍”中精確匹配到了手槍所以為不合規。

因為正則表達式匹配只關注文本中局部信息(敏感詞是否出現)，并沒有考慮到整個文本的語義，所以正則表達式在匹配敏感詞時容易把合法的文本判為不合法，由此容易造成大量誤報，還需要人工再對被判不合法的文本進行復檢。隨著數據量的增加,命中敏感詞的文本量也增長迅速，人工復檢效率慢而且精度不高，而且不合規文本占比低，人力大量浪費在對合法文本的重復判斷上面。

發明內容

本發明要解決的技術問題是為了克服現有技術中用戶原創內容的敏感文本檢測方法的檢測結果正確率低的缺陷，提供一種敏感文本檢測方法、系統、電子設備及介質。

本發明是通過下述技術方案來解決上述技術問題：

一種敏感文本檢測方法，所述敏感文本檢測方法包括：

至少一用戶終端分別利用正則表達式對各自對應的檢測文本進行敏感詞匹配，并分別得到對應的預敏感文本；

將所述預敏感文本分別輸入至對應的訓練后的深度學習模型進行預測，并得到對應的確定敏感文本。

優選地，所述敏感文本檢測方法還包括分別對所述深度學習模型進行訓練的步驟；

訓練的步驟包括：

在所述將所述預敏感文本分別輸入至對應的訓練后的深度學習模型進行預測的步驟之前，

訓練原始的所述深度學習模型得到預訓練模型；

分別根據用戶終端的樣本文本對所述預訓練模型進行fine-tuning訓練，得到對應的所述訓練后的深度學習模型。

優選地，所述深度學習模型包括RNN模型和CNN模型，所述將所述預敏感文本分別輸入至對應的訓練后的深度學習模型進行預測的步驟包括：

將對應的所述預敏感文本分別輸入所述RNN模型和所述CNN模型；

將所述RNN模型和所述CNN模型通過模型融合方法對所述預敏感文本處理，得到對應的所述確定敏感文本。

優選地，所述RNN模型和所述CNN模型通過模型融合方法對所述預敏感文本處理的步驟包括：

利用所述RNN模型的特征提取層輸出第一語義特征，利用所述CNN模型的特征提取層輸出第二語義特征；