[發(fā)明專利]一種詞表構(gòu)建的方法及裝置

在審

• 申請?zhí)枺?/td>: 201811317879.7
• 申請日: 2018-11-07
• 公開（公告）號: CN109492224A
• 公開（公告）日: 2019-03-19
• 發(fā)明（設(shè)計）人: 李長亮;廖敏鵬;齊濟
• 申請（專利權(quán)）人: 北京金山數(shù)字娛樂科技有限公司;成都金山互動娛樂科技有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27;G06F16/36
• 代理公司: 北京智信禾專利代理有限公司 11637
• 代理人: 王治東;吳肖肖

1.一種詞表構(gòu)建的方法，其特征在于，所述方法包括：

讀取目標(biāo)語料；

計算目標(biāo)語料中每兩個相鄰字之間的互信息，根據(jù)互信息大于等于0的至少兩個相鄰字生成待篩選詞，并根據(jù)待篩選詞生成第一待篩選詞表；

計算所述第一待篩選詞表中的各個待篩選詞的凝聚度，并將凝聚度小于第一閾值的待篩選詞刪除得到第二待篩選詞表；

計算所述第二待篩選詞表中的每個所述待篩選詞的自由度，并將自由度小于第二閾值的待篩選詞刪除得到第三待篩選詞表；

輸出所述第三待篩選詞表。

2.如權(quán)利要求1所述的詞表構(gòu)建的方法，其特征在于，所述目標(biāo)語料中每兩個相鄰字之間的互信息通過兩個相鄰字在目標(biāo)語料中分別出現(xiàn)的概率以及相鄰出現(xiàn)的概率計算而得。

3.如權(quán)利要求1所述的詞表構(gòu)建的方法，其特征在于，所述目標(biāo)語料包括至少一個文本子序列；

根據(jù)互信息大于等于0的至少兩個相鄰字生成待篩選詞，包括：

a1、確定在加載的文本子序列中的開始位置i和結(jié)束位置j，計算第i個字和第j個字之間的互信息，若互信息≥0，執(zhí)行步驟a2，若互信息＜0，執(zhí)行步驟a4，其中，i，j均為正整數(shù)，i≥1，j＝i+1；

a2、將結(jié)束位置j自增1，并計算第j-1個字和第j個字之間的互信息，若互信息≥0，繼續(xù)執(zhí)行步驟a2，若互信息＜0，執(zhí)行步驟a3；

a3、將第i個字至第j-1個字之間任意相鄰的至少兩個字作為待篩選詞，然后執(zhí)行步驟a4；

a4、判斷結(jié)束位置j是否到達文本子序列的結(jié)束位置，若是，執(zhí)行步驟a6，若否，執(zhí)行步驟a5；

a5、取i＝j(luò)，返回步驟a1；

a6、判斷當(dāng)前加載的文本子序列是否為最后一個文本子序列，若是，執(zhí)行步驟a8，若否，執(zhí)行步驟a7；

a7、加載下一個文本子序列，并返回步驟a1；

a8、結(jié)束流程。

4.如權(quán)利要求3所述的詞表構(gòu)建的方法，其特征在于，所述步驟a3包括：

a31、將所述文本子序列中的第i個字至第k個字作為待篩選詞，其中，k為正整數(shù)且i+1≤k≤j-1；

a32、將i自增1，判斷自增1后的i是否小于j，若是，繼續(xù)執(zhí)行步驟a31，若否，執(zhí)行步驟a4。

5.如權(quán)利要求1或3所述的詞表構(gòu)建的方法，其特征在于，根據(jù)待篩選詞生成第一待篩選詞表，包括：

判斷所述第一待篩選詞表是否存在該待篩選詞中；

若否，則將該待篩選詞加入至第一待篩選詞表中；

若是，丟棄該待篩選詞。

6.如權(quán)利要求1所述的詞表構(gòu)建的方法，其特征在于，計算所述第一待篩選詞表中的各個待篩選詞的凝聚度，包括：

計算所述待篩選詞中的前p個字在目標(biāo)語料中的出現(xiàn)概率以及后q個字在目標(biāo)語料中的出現(xiàn)概率，然后計算得到所述待篩選詞的凝聚度，其中，p，q均為正整數(shù)，且1≤m,q≤待篩選詞的字?jǐn)?shù)。

7.如權(quán)利要求1所述的詞表構(gòu)建的方法，其特征在于，所述第一閾值通過以下公式計算：

thres_i＝T₀e^k(len(w)-2)

其中，thres_i代表第一閾值；

T₀為設(shè)定的初始值；

len(W)為待篩選詞的字?jǐn)?shù)；

k為設(shè)定的參量。

8.如權(quán)利要求1所述的詞表構(gòu)建的方法，其特征在于，所述待篩選詞的自由度通過所述待篩選詞的左鄰字和右鄰字在目標(biāo)語料中分別出現(xiàn)的概率計算而得。