[發明專利]標準詞庫分詞方法、裝置、設備及計算機可讀存儲介質

有效

• 申請號: 201811452898.0
• 申請日: 2018-11-30
• 公開（公告）號: CN109858011B
• 公開（公告）日: 2022-08-19
• 發明（設計）人: 黃越;陳明東
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F40/289
• 分類號: G06F40/289
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 胡海國

1.一種標準詞庫分詞方法，其特征在于，所述標準詞庫分詞方法包括以下步驟：

將待分詞標準詞庫中的標準詞打散為單個漢字，形成原始漢字庫，并計算所述原始漢字庫中每兩個漢字之間的第一相鄰概率和第一貝葉斯概率；

依據所述第一相鄰概率和所述第一貝葉斯概率，對所述原始漢字庫執行漢字合并操作，得到包含第一合并漢字組的待調整漢字庫；

計算所述待調整漢字庫中每兩個漢字之間的第二相鄰概率和第二貝葉斯概率，并判斷所述第二相鄰概率內的最小相鄰概率是否大于預設閾值；

若所述最小相鄰概率大于預設閾值，則依據所述第二相鄰概率和所述第二貝葉斯概率，對所述待調整漢字庫執行漢字合并操作，得到包含第二合并漢字組的目標漢字庫，并將所述第二合并漢字組作為標準詞輸出至預設存儲區域，其中，所述目標漢字庫中每兩個漢字之間的相鄰概率內的最小相鄰概率小于或等于預設閾值；

若所述最小相鄰概率小于或等于預設閾值，則將所述第一合并漢字組作為標準詞輸出至預設存儲區域；

所述將待分詞標準詞庫中的標準詞打散為單個漢字，形成原始漢字庫的步驟包括：

將待分詞標準詞庫中的標準詞打散為單個漢字，并將打散的漢字隨機的存儲到預設空白數據庫中，以形成原始漢字庫；

所述依據所述第一相鄰概率和所述第一貝葉斯概率，對所述原始漢字庫執行漢字合并操作的步驟包括：

從所述原始漢字庫中查找所述第一相鄰概率最大的兩個漢字作為兩個待合并漢字，并合并所述兩個待合并漢字，得到合并漢字組；

依據所述兩個待合并漢字的第一貝葉斯概率，調整所述合并漢字組中的兩待合并漢字的位置關系；

所述依據所述兩個待合并漢字的第一貝葉斯概率，調整所述合并漢字組中的兩待合并漢字的位置關系的步驟包括：

獲取所述兩個待合并漢字中的第一待合并漢字位于第二待合并漢字之前的第一貝葉斯概率，并判斷所述第一貝葉斯概率是否大于預設貝葉斯概率；

若所述第一貝葉斯概率大于或等于預設貝葉斯概率，則將第一待合并漢字與第二待合并漢字的位置關系調整為第一待合并漢字位于第二待合并漢字之前；

若所述第一貝葉斯概率小于預設貝葉斯概率，則將第一待合并漢字與第二待合并漢字的位置關系調整為第一待合并漢字位于第二待合并漢字之后。

2.如權利要求1所述的標準詞庫分詞方法，其特征在于，所述合并漢字組作為單個漢字參與相鄰概率和貝葉斯概率的計算。

3.如權利要求2所述的標準詞庫分詞方法，其特征在于，判斷所述第二相鄰概率內的最小相鄰概率是否大于預設閾值的步驟之后，還包括：

若所述最小相鄰概率大于預設閾值，則判斷所述第二相鄰概率最大的兩個漢字中是否存在至少一漢字為合并漢字組；

若所述第二相鄰概率最大的兩個漢字中存在至少一漢字為合并漢字組，則判斷所述合并漢字組包含的漢字個數是否達到預設漢字個數；

若所述合并漢字組包含的漢字個數達到預設漢字個數，則將所述合并漢字組作為標準詞輸出至預設存儲區域；

若所述合并漢字組包含的漢字個數未達到預設漢字個數，則執行步驟：依據所述第二相鄰概率和所述第二貝葉斯概率，對所述待調整漢字庫執行漢字合并操作，得到包含第二合并漢字組的目標漢字庫，并將所述第二合并漢字組作為標準詞輸出至預設存儲區域，其中，所述目標漢字庫中每兩個漢字之間的相鄰概率內的最小相鄰概率小于或等于預設閾值。

4.如權利要求1-3中任一項所述的標準詞庫分詞方法，其特征在于，所述將待分詞標準詞庫中的標準詞打散為單個漢字，形成漢字庫的步驟之前，還包括：

當監測到觸發的標準詞庫分詞指令時，依據所述標準詞庫分詞指令確定待分詞標準詞庫。

5.如權利要求4所述的標準詞庫分詞方法，其特征在于，依據所述標準詞庫分詞指令確定待分詞標準詞庫的步驟包括：

從所述標準詞庫分詞指令中讀取標準詞庫識別碼，并將數據庫中與所述標準詞庫識別碼對應的標準詞庫確定為待分詞標準詞庫。