[發(fā)明專利]文本的校驗(yàn)方法、裝置、存儲(chǔ)介質(zhì)以及處理器

在審

• 申請(qǐng)?zhí)枺?/td>: 201911425456.1
• 申請(qǐng)日: 2019-12-31
• 公開（公告）號(hào): CN111209724A
• 公開（公告）日: 2020-05-29
• 發(fā)明（設(shè)計(jì)）人: 彭翔;贠瑞峰;張炎紅;劉粉香
• 申請(qǐng)（專利權(quán)）人: 智慧神州（北京）科技有限公司
• 主分類號(hào): G06F40/157
• 分類號(hào): G06F40/157;G06F40/216;G06F40/289;G06N20/00
• 代理公司: 北京康信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11240
• 代理人: 霍文娟

1.一種文本的校驗(yàn)方法，其特征在于，包括：

獲取公開文本的樣本字典編碼；

構(gòu)建模型進(jìn)行訓(xùn)練，其中，所述模型為使用多組數(shù)據(jù)通過機(jī)器學(xué)習(xí)訓(xùn)練得出的，所述多組數(shù)據(jù)中的每組數(shù)據(jù)均包括：不同的樣本字典編碼和所述樣本字典編碼對(duì)應(yīng)的序列標(biāo)注標(biāo)簽和任務(wù)編碼標(biāo)簽；

獲取待檢測(cè)文本的字典編碼；

將所述字典編碼輸入所述模型，得到所述待檢測(cè)文本的序列標(biāo)注標(biāo)簽和任務(wù)編碼標(biāo)簽。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述公開文本為正樣本，獲取公開文本的樣本字典編碼包括：

收集公開文本；

對(duì)所述公開文本進(jìn)行分詞處理，得到分詞結(jié)果；

根據(jù)所述分詞結(jié)果生成樣本字典編碼。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，在對(duì)所述公開文本進(jìn)行分詞處理，得到分詞結(jié)果之后，還包括：

根據(jù)所述分詞結(jié)果，構(gòu)建所述公開文本的字詞數(shù)據(jù)庫，其中，所述字詞數(shù)據(jù)庫包括以下至少之一：編號(hào)、詞頻、拼音；

將所述分詞結(jié)果的多音字拆解成多個(gè)拼音，構(gòu)建所述公開文本的拼音數(shù)據(jù)庫；

確定每個(gè)拼音的近似拼音，構(gòu)建所述公開文本的近似拼音數(shù)據(jù)庫。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，在將所述分詞結(jié)果的多音字拆解成多個(gè)拼音，構(gòu)建所述公開文本的拼音數(shù)據(jù)庫之后，還包括：

構(gòu)建拼音數(shù)據(jù)庫中的拼音與字詞序列的映射關(guān)系。

5.根據(jù)權(quán)利要求4中所述的方法，其特征在于，所述公開文本為負(fù)樣本，獲取公開文本的樣本字典編碼包括：

獲取待替換字詞；

基于所述字詞數(shù)據(jù)庫確定所述待替換字詞的拼音；

基于所述近似拼音數(shù)據(jù)庫確定所述待替換字詞的近似拼音；

基于映射關(guān)系確定所述待替換字詞的拼音對(duì)應(yīng)的同音字詞，以及所述待替換字詞的近似拼音對(duì)應(yīng)的近似字詞；

按照所述同音字詞和所述近似字詞的詞頻對(duì)應(yīng)的概率，得到替換字詞，其中，所述替換字詞用于替換所述待替換字詞，生成負(fù)樣本。

6.一種文本的校驗(yàn)裝置，其特征在于，包括：

第一獲取模塊，用于獲取公開文本的樣本字典編碼；

訓(xùn)練模塊，用于構(gòu)建模型進(jìn)行訓(xùn)練，其中，所述模型為使用多組數(shù)據(jù)通過機(jī)器學(xué)習(xí)訓(xùn)練得出的，所述多組數(shù)據(jù)中的每組數(shù)據(jù)均包括：不同的樣本字典編碼和所述樣本字典編碼對(duì)應(yīng)的序列標(biāo)注標(biāo)簽和任務(wù)編碼標(biāo)簽；

第二獲取模塊，用于獲取待檢測(cè)文本的字典編碼；

得到模塊，用于將所述字典編碼輸入所述模型，得到所述待檢測(cè)文本的序列標(biāo)注標(biāo)簽和任務(wù)編碼標(biāo)簽。

7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述公開文本為正樣本，第一獲取模塊包括：

收集單元，用于收集公開文本；

分詞單元，用于對(duì)所述公開文本進(jìn)行分詞處理，得到分詞結(jié)果；

生成單元，用于根據(jù)所述分詞結(jié)果生成樣本字典編碼。

8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，在對(duì)所述公開文本進(jìn)行分詞處理，得到分詞結(jié)果之后，還包括：

第一構(gòu)建單元，用于根據(jù)所述分詞結(jié)果，構(gòu)建所述公開文本的字詞數(shù)據(jù)庫，其中，所述字詞數(shù)據(jù)庫包括以下至少之一：編號(hào)、詞頻、拼音；

第二構(gòu)建單元，用于將所述分詞結(jié)果的多音字拆解成多個(gè)拼音，構(gòu)建所述公開文本的拼音數(shù)據(jù)庫；

第三構(gòu)建單元，用于確定每個(gè)拼音的近似拼音，構(gòu)建所述公開文本的近似拼音數(shù)據(jù)庫。

9.一種存儲(chǔ)介質(zhì)，其特征在于，所述存儲(chǔ)介質(zhì)包括存儲(chǔ)的程序，其中，在所述程序運(yùn)行時(shí)控制所述存儲(chǔ)介質(zhì)所在設(shè)備執(zhí)行權(quán)利要求1至5中任意一項(xiàng)所述的文本的校驗(yàn)方法。

10.一種處理器，其特征在于，所述處理器用于運(yùn)行程序，其中，所述程序運(yùn)行時(shí)執(zhí)行權(quán)利要求1至5中任意一項(xiàng)所述的文本的校驗(yàn)方法。