[發明專利]一種文本還原方法、裝置及電子設備

在審

• 申請號: 201811248320.3
• 申請日: 2018-10-25
• 公開（公告）號: CN109597987A
• 公開（公告）日: 2019-04-09
• 發明（設計）人: 周書恒;劉金星;祝慧佳;趙智源;郭亞
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27;G06F16/9032
• 代理公司: 北京國昊天誠知識產權代理有限公司 11315
• 代理人: 許振新;朱文杰

本申請實施例涉及一種文本還原方法、裝置及電子設備。文本還原方法包括：獲取目標文本；對所述目標文本進行分詞處理，得到所述目標文本分詞后的分詞文本，所述分詞文本包含無法組成分詞的字符；基于拆字樣本集，對所述分詞文本中無法組成分詞的字符進行匹配，得到至少一種匹配后分詞文本；將所述至少一組匹配后分詞文本輸入預設語言模型，得到所述至少一組匹配后分詞文本的置信度；基于所述至少一組匹配后分詞文本的置信度，從所述至少一種匹配后分詞文本中選取出所述目標文本的還原文本。

技術領域

本申請實施例涉及網絡安全技術領域，尤其涉及一種文本還原方法、裝置及電子設備。

背景技術

隨著互聯網的興起，信息傳遞的便捷性使得互聯網信息量成幾何級增長。用戶常常會收到互聯網灰黑產發送的垃圾信息，比如推銷信息、詐騙信息、非法宣傳信息等。對于這些垃圾信息，一般可以通過網絡平臺進行攔截。然而，目前灰黑產為了繞過平臺的各種防控手段，會以拆字表達的方式傳播垃圾信息。比如正常內容是“我是閃電借款，可以強開借唄5000-10000w”，通過拆字方式表達為“我是閃電亻昔款，可以弓雖開亻昔唄5000-10000w”。

有鑒于此，為了提高網絡平臺針對垃圾信息的識別能力，如何將拆字表達的變異文本還原回正常文本，是本申請所要解決的技術問題。

發明內容

本申請實施例目的是提供一種文本還原方法、裝置及電子設備，能夠將拆字表達的變異文本還原回正常文本。

為了實現上述目的，本申請實施例是這樣實現的：

第一方面，提供一種文本還原方法，包括：

獲取目標文本；

對所述目標文本進行分詞處理，得到所述目標文本分詞后的分詞文本，所述分詞文本包含無法組成分詞的字符；

基于拆字樣本集，對所述分詞文本中無法組成分詞的字符進行匹配，得到至少一種匹配后分詞文本；

將所述至少一組匹配后分詞文本輸入預設語言模型，得到所述至少一組匹配后分詞文本的置信度；

基于所述至少一組匹配后分詞文本的置信度，從所述至少一種匹配后分詞文本中選取出所述目標文本的還原文本。

第二方面，提供了一種文本還原裝置，包括：

獲取模塊，獲取目標文本；

分詞模塊，對所述目標文本進行分詞處理，得到所述目標文本分詞后的分詞文本，所述分詞文本包含無法組成分詞的字符；

匹配模塊，基于拆字樣本集，對所述分詞文本中無法組成分詞的字符進行匹配，得到至少一種匹配后分詞文本；

評估模塊，將所述至少一組匹配后分詞文本輸入預設語言模型，得到所述至少一組匹配后分詞文本的置信度；

選取模塊，基于所述至少一組匹配后分詞文本的置信度，從所述至少一種匹配后分詞文本中選取出所述目標文本的還原文本。

第三方面，提供了一種電子設備，包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述計算機程序被所述處理器執行：

獲取目標文本；

對所述目標文本進行分詞處理，得到所述目標文本分詞后的分詞文本，所述分詞文本包含無法組成分詞的字符；

基于拆字樣本集，對所述分詞文本中無法組成分詞的字符進行匹配，得到至少一種匹配后分詞文本；

將所述至少一組匹配后分詞文本輸入預設語言模型，得到所述至少一組匹配后分詞文本的置信度；

基于所述至少一組匹配后分詞文本的置信度，從所述至少一種匹配后分詞文本中選取出所述目標文本的還原文本。