[發明專利]文本的校驗方法、裝置、存儲介質以及處理器

在審

• 申請號: 201911425456.1
• 申請日: 2019-12-31
• 公開（公告）號: CN111209724A
• 公開（公告）日: 2020-05-29
• 發明（設計）人: 彭翔;贠瑞峰;張炎紅;劉粉香
• 申請（專利權）人: 智慧神州（北京）科技有限公司
• 主分類號: G06F40/157
• 分類號: G06F40/157;G06F40/216;G06F40/289;G06N20/00
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 霍文娟

本發明公開了一種文本的校驗方法、裝置、存儲介質以及處理器。其中，該方法包括：獲取公開文本的樣本字典編碼；構建模型進行訓練，其中，模型為使用多組數據通過機器學習訓練得出的，多組數據中的每組數據均包括：不同的樣本字典編碼和樣本字典編碼對應的序列標注標簽和任務編碼標簽；獲取待檢測文本的字典編碼；將字典編碼輸入模型，得到待檢測文本的序列標注標簽和任務編碼標簽。本發明解決了現有技術中無法有效校驗文本的技術問題。

技術領域

本發明涉及文本校驗領域，具體而言，涉及一種文本的校驗方法、裝置、存儲介質以及處理器。

背景技術

現代社會已經進入信息化數字化時代，人們每天獲取和處理的文本信息幾乎都是電子文本，比如生活中的聊天軟件娛樂軟件，工作學習中閱讀或書寫各類文檔等等。用戶在使用拼音輸入法打字時，經常會有各種“筆誤”，導致句子不通順，尤其是大篇幅的文檔校驗會花費大量的時間。輸入法導致的句子不通順問題總結為“同音近音”問題，是由于誤輸入同音或近音字原因造成的。比如，“你們今天想去那里吃飯呢？”，這句中“那里”應為“哪里”。語言模型的困惑度(ppl)可以一定程度上作為整體句子是否通順的參考，但是準確率非常低不能作為句子是否通順的評判指標。另外，語言模型ppl值只能從句子整體角度出發評估整個句子出現的概率，ppl只是相對量而非絕對量(即，ppl低的句子不一定有問題，ppl高的不一定沒有問題，ppl只能用來比較兩個句子哪個更可能出現)。另外，ppl可以評估句子是否有問題，但是無法指出問題出現在哪個詞上，更不能給出修改方案。還有一些文檔校驗方法，只是簡單的搜索句子中沒有見過的字詞搭配，并標注出來，上面的例子中，所有字詞間都是可以搭配的，所以這種校驗方法無法解決上面例子中“哪里”-“那里”的問題。

針對上述的問題，目前尚未提出有效的解決方案。

發明內容

本發明實施例提供了一種文本的校驗方法、裝置、存儲介質以及處理器，以至少解決現有技術中無法有效校驗文本的技術問題。

根據本發明實施例的一個方面，提供了一種文本的校驗方法，包括：獲取公開文本的樣本字典編碼；構建模型進行訓練，其中，所述模型為使用多組數據通過機器學習訓練得出的，所述多組數據中的每組數據均包括：不同的樣本字典編碼和所述樣本字典編碼對應的序列標注標簽和任務編碼標簽；獲取待檢測文本的字典編碼；將所述字典編碼輸入所述模型，得到所述待檢測文本的序列標注標簽和任務編碼標簽。

可選地，所述公開文本為正樣本，獲取公開文本的樣本字典編碼包括：收集公開文本；對所述公開文本進行分詞處理，得到分詞結果；根據所述分詞結果生成樣本字典編碼。

可選地，在對所述公開文本進行分詞處理，得到分詞結果之后，還包括：根據所述分詞結果，構建所述公開文本的字詞數據庫，其中，所述字詞數據庫包括以下至少之一：編號、詞頻、拼音；將所述分詞結果的多音字拆解成多個拼音，構建所述公開文本的拼音數據庫；確定每個拼音的近似拼音，構建所述公開文本的近似拼音數據庫。

可選地，在將所述分詞結果的多音字拆解成多個拼音，構建所述公開文本的拼音數據庫之后，還包括：構建拼音數據庫中的拼音與字詞序列的映射關系。

可選地，所述公開文本為負樣本，獲取公開文本的樣本字典編碼包括：獲取待替換字詞；基于所述字詞數據庫確定所述待替換字詞的拼音；基于所述近似拼音數據庫確定所述待替換字詞的近似拼音；基于映射關系確定所述待替換字詞的拼音對應的同音字詞，以及所述待替換字詞的近似拼音對應的近似字詞。按照所述同音字詞和所述近似字詞的詞頻對應的概率，得到替換字詞，其中，所述替換字詞用于替換所述待替換字詞，生成負樣本。