[發(fā)明專利]基于大數(shù)據(jù)的文本分詞方法、及其相關(guān)設(shè)備

在審

• 申請?zhí)枺?/td>: 202210086271.8
• 申請日: 2022-01-25
• 公開（公告）號: CN114548089A
• 公開（公告）日: 2022-05-27
• 發(fā)明（設(shè)計）人: 李斌
• 申請（專利權(quán)）人: 平安國際智慧城市科技股份有限公司
• 主分類號: G06F40/279
• 分類號: G06F40/279
• 代理公司: 深圳市世聯(lián)合知識產(chǎn)權(quán)代理有限公司 44385
• 代理人: 楊暉瓊

1.一種基于大數(shù)據(jù)的文本分詞方法，其特征在于，包括下述步驟：

對待處理文本進(jìn)行預(yù)處理，得到由漢字類型詞元以及非漢字類型詞元構(gòu)成的語料庫；

將所述語料庫中非漢字類型詞元放入一元候選詞庫；

利用二元分詞、三元分詞以及四元分詞對所述語料庫中的漢字類型詞元進(jìn)行前后拼接分詞，得到二元文本片段集合，三元文本片段集合以及四元文本片段集合；

刪除所述二元文本片段集合，三元文本片段集合以及四元文本片段集合中滿足預(yù)設(shè)條件的二元候選詞、三元候選詞、四元候選詞，得到二元候選詞庫、三元候選詞庫以及四元候選詞庫。

2.如權(quán)利要求1所述的基于大數(shù)據(jù)的文本分詞方法，其特征在于，所述對待處理文本進(jìn)行預(yù)處理，得到由漢字類型詞元以及非漢字類型詞元構(gòu)成的語料庫的步驟包括：

調(diào)用預(yù)設(shè)函數(shù)將所述待處理文本轉(zhuǎn)換成字節(jié)流，順序讀取所述字節(jié)流中的字符；

根據(jù)所述字節(jié)流中各個字符的所占用的存儲空間標(biāo)記字符的字符類型，其中，所述字符類型包括漢字類型以及非漢字類型；

根據(jù)各個所述字符的Unicode碼將全角字符轉(zhuǎn)換成半角字符；

將轉(zhuǎn)換后的半角字符以及所述待處理文本的半角字符寫入新文本，替換所述待處理文本，得到所述語料庫。

3.如權(quán)利要求2所述的基于大數(shù)據(jù)的文本分詞方法，其特征在于，所述根據(jù)各個所述字符的Unicode碼將全角字符轉(zhuǎn)換成半角字符的步驟包括：

在所述字符的Unicode碼大于或等于U+FF01，且小于或等于U+FF5E時，所述標(biāo)記后的字符為全角字符，將所述全角字符的Unicode碼減去65248，得到對應(yīng)標(biāo)記后的半角字符；

在所述字符的編碼等于U+3000時，所述標(biāo)記后的字符為全角字符，將所述全角字符的編碼轉(zhuǎn)換成U+0020，得到對應(yīng)標(biāo)記后的半角字符。

4.如權(quán)利要求1所述的基于大數(shù)據(jù)的文本分詞方法，其特征在于，所述刪除所述二元文本片段集合，三元文本片段集合以及四元文本片段集合中滿足預(yù)設(shè)條件的二元候選詞、三元候選詞、四元候選詞，得到二元候選詞庫、三元候選詞庫以及四元候選詞庫的步驟包括：

獲取所述二元文本片段集合，三元文本片段集合以及四元文本片段集合中的二元候選詞、三元候選詞以及四元候選詞；

分別獲取各個所述二元候選詞在所述語料庫中的頻率，各個所述三元候選詞在所述語料庫中的頻率，各個所述四元候選詞在所述語料庫中的頻率；

在所述二元候選詞、三元候選詞以及四元候選詞的頻率小于對應(yīng)的預(yù)設(shè)頻率時，滿足所述預(yù)設(shè)條件，刪除滿足預(yù)設(shè)條件的二元候選詞、三元候選詞、四元候選詞，得到二元候選詞庫、三元候選詞庫以及四元候選詞庫，所述預(yù)設(shè)條件包括所述二元候選詞、三元候選詞以及四元候選詞的頻率中的一個或多個小于對應(yīng)的預(yù)設(shè)頻率。

5.如權(quán)利要求1所述的基于大數(shù)據(jù)的文本分詞方法，其特征在于，所述刪除所述二元文本片段集合，三元文本片段集合以及四元文本片段集合中滿足預(yù)設(shè)條件的二元候選詞、三元候選詞、四元候選詞，得到二元候選詞庫、三元候選詞庫以及四元候選詞庫的步驟包括：

獲取所述二元文本片段集合，三元文本片段集合以及四元文本片段集合中的二元候選詞、三元候選詞以及四元候選詞；

獲取各個二元候選詞、三元候選詞以及四元候選詞的自由度以及凝合度；

若所述二元候選詞、三元候選詞以及四元候選詞的自由度小于所述候選詞對應(yīng)的預(yù)設(shè)自由度，或所述二元候選詞、三元候選詞以及四元候選詞的凝合度小于所述候選詞對應(yīng)的預(yù)設(shè)凝合度，則滿足所述預(yù)設(shè)條件，刪除滿足預(yù)設(shè)條件的二元候選詞、三元候選詞、四元候選詞，得到二元候選詞庫、三元候選詞庫以及四元候選詞庫。