[發明專利]一種文本還原方法、裝置及電子設備

在審

• 申請號: 201811248320.3
• 申請日: 2018-10-25
• 公開（公告）號: CN109597987A
• 公開（公告）日: 2019-04-09
• 發明（設計）人: 周書恒;劉金星;祝慧佳;趙智源;郭亞
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27;G06F16/9032
• 代理公司: 北京國昊天誠知識產權代理有限公司 11315
• 代理人: 許振新;朱文杰

1.一種文本還原方法，包括：

獲取目標文本；

對所述目標文本進行分詞處理，得到所述目標文本分詞后的分詞文本，所述分詞文本包含無法組成分詞的字符；

基于拆字樣本集，對所述分詞文本中無法組成分詞的字符進行匹配，得到至少一種匹配后分詞文本；

將所述至少一組匹配后分詞文本輸入預設語言模型，得到所述至少一組匹配后分詞文本的置信度；

基于所述至少一組匹配后分詞文本的置信度，從所述至少一種匹配后分詞文本中選取出所述目標文本的還原文本。

2.根據權利要求1所述的文本還原方法，

基于拆字樣本資源，對所述分詞文本中無法組成分詞的字符進行匹配，包括：

基于拆字樣本資源，對所述分詞文本中行方向相鄰的無法組成分詞的字符進行匹配。

3.根據權利要求1所述的文本還原方法，

基于拆字樣本資源，對所述分詞文本中無法組成分詞的字符進行匹配，包括：

基于拆字樣本資源，對所述分詞文本中列方向相鄰的無法組成分詞的字符進行匹配。

4.根據權利要求1所述的文本還原方法，

基于所述至少一組匹配后分詞文本的置信度，從所述至少一種匹配后分詞文本中選取出所述目標文本的還原文本，包括：

從所述至少一種匹配后分詞文本中選取置信度最高的一者作為所述目標文本的還原文本。

5.根據權利要求1所述的文本還原方法，

所述分詞文本中無法組成分詞的字符包括：漢字、漢字的偏旁、漢字的字根中任意一者。

6.根據權利要求1所述的文本還原方法，

所述預設語言模型基于垃圾信息樣本集訓練得到。

7.根據權利要求1所述的文本還原方法，

獲取目標文本，包括：

從網絡社交平臺中，獲取用戶發送的目標文本。

8.一種文本還原裝置，包括：

獲取模塊，獲取目標文本；

分詞模塊，對所述目標文本進行分詞處理，得到所述目標文本分詞后的分詞文本，所述分詞文本包含無法組成分詞的字符；

匹配模塊，基于拆字樣本集，對所述分詞文本中無法組成分詞的字符進行匹配，得到至少一種匹配后分詞文本；

評估模塊，將所述至少一組匹配后分詞文本輸入預設語言模型，得到所述至少一組匹配后分詞文本的置信度；

選取模塊，基于所述至少一組匹配后分詞文本的置信度，從所述至少一種匹配后分詞文本中選取出所述目標文本的還原文本。

9.一種電子設備包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述計算機程序被所述處理器執行：

獲取目標文本；

對所述目標文本進行分詞處理，得到所述目標文本分詞后的分詞文本，所述分詞文本包含無法組成分詞的字符；

基于拆字樣本集，對所述分詞文本中無法組成分詞的字符進行匹配，得到至少一種匹配后分詞文本；

將所述至少一組匹配后分詞文本輸入預設語言模型，得到所述至少一組匹配后分詞文本的置信度；

基于所述至少一組匹配后分詞文本的置信度，從所述至少一種匹配后分詞文本中選取出所述目標文本的還原文本。

10.一種計算機可讀存儲介質，所述計算機可讀存儲介質上存儲有計算機程序，所述計算機程序被處理器執行時實現如下步驟：

獲取目標文本；

對所述目標文本進行分詞處理，得到所述目標文本分詞后的分詞文本，所述分詞文本包含無法組成分詞的字符；

基于拆字樣本集，對所述分詞文本中無法組成分詞的字符進行匹配，得到至少一種匹配后分詞文本；

將所述至少一組匹配后分詞文本輸入預設語言模型，得到所述至少一組匹配后分詞文本的置信度；

基于所述至少一組匹配后分詞文本的置信度，從所述至少一種匹配后分詞文本中選取出所述目標文本的還原文本。