[發(fā)明專(zhuān)利]泰語(yǔ)詞語(yǔ)識(shí)別的方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201710982841.0
• 申請(qǐng)日: 2017-10-20
• 公開(kāi)（公告）號(hào): CN107807918A
• 公開(kāi)（公告）日: 2018-03-16
• 發(fā)明（設(shè)計(jì)）人: 張凱;閆昊;車(chē)雙武
• 申請(qǐng)（專(zhuān)利權(quán)）人: 傳神聯(lián)合（北京）信息技術(shù)有限公司
• 主分類(lèi)號(hào): G06F17/27
• 分類(lèi)號(hào): G06F17/27
• 代理公司: 北京康盛知識(shí)產(chǎn)權(quán)代理有限公司11331
• 代理人: 李曉芳

1.一種泰語(yǔ)詞語(yǔ)識(shí)別的方法，其特征在于，包括：

根據(jù)設(shè)定步長(zhǎng)，對(duì)待識(shí)別泰語(yǔ)文檔進(jìn)行過(guò)濾分割處理，獲得包括至少一個(gè)切片泰文字符串的切片集合；

根據(jù)每個(gè)切片泰文字符串的信息熵處理參數(shù)值，對(duì)所述切片集合進(jìn)行刷選，形成詞匯輸出切片集合；

從所述詞匯輸出切片集合中，將設(shè)定個(gè)數(shù)的切片泰文字符串確定為識(shí)別出的泰語(yǔ)詞語(yǔ)。

2.如權(quán)利要求1所述的方法，其特征在于，當(dāng)所述信息熵處理參數(shù)值包括出現(xiàn)頻數(shù)、凝固程度值、以及信息熵自由度值時(shí)，所述根據(jù)每個(gè)切片泰文字符串的信息熵處理參數(shù)值，對(duì)所述切片集合進(jìn)行刷選，形成詞匯輸出切片集合包括：

根據(jù)出現(xiàn)頻數(shù)超過(guò)設(shè)定頻數(shù)的切片泰文字符串，形成第一待輸出切片集合；

確定所述第一待輸出切片集合中每個(gè)切片泰文字符串的凝固程度值，并根據(jù)凝固程度值大于第一設(shè)定值的切片泰文字符串，形成第二待輸出切片集合；

確定所述第二待輸出切片集合中每個(gè)切片泰文字符串的信息熵自由度值，并根據(jù)信息熵自由度值大于第二設(shè)定值的切片泰文字符串，形成詞匯輸出切片集合。

3.如權(quán)利要求2所述的方法，其特征在于，所述確定所述第一待輸出切片集合中每個(gè)切片泰文字符串的凝固程度值包括：

根據(jù)公式(2)，確定所述第一待輸出切片集合中當(dāng)前切片泰文字符串的凝固程度值；

其中，Pi為當(dāng)前切片泰文字符串的出現(xiàn)頻數(shù)，Pij為當(dāng)前切片泰文字符串中對(duì)應(yīng)的子切片泰文字符串的出現(xiàn)頻數(shù)，co為凝固程度值。

4.如權(quán)利要求2所述的方法，其特征在于，所述確定所述第二待輸出切片集合中每個(gè)切片泰文字符串的信息熵自由度值包括：

根據(jù)公式(3)，確定當(dāng)前切片泰文字符串的左鄰字信息熵和右鄰字信息熵；

根據(jù)公式(4)，將所述左鄰字信息熵和右鄰字信息熵中的較小值，確定為所述當(dāng)前切片泰文字符串的信息熵自由度值；

其中，Pi為每個(gè)切片泰文字符串的出現(xiàn)頻數(shù)，H(U)為信息熵；

free＝min{H(U)1,H(U)2,...H(U)n}---------------公式(4)

其中，H(U)為信息熵，free為信息熵自由度值。

5.如權(quán)利要求1所述的方法，其特征在于，所述從所述詞匯輸出切片集合中，將設(shè)定個(gè)數(shù)的切片泰文字符串確定為識(shí)別出的泰語(yǔ)詞語(yǔ)包括：

根據(jù)出現(xiàn)頻率的高低對(duì)所述詞匯輸出切片集合中的每個(gè)切片泰文字符串進(jìn)行前后排序；

將位于最前方的設(shè)定個(gè)數(shù)的切片泰文字符串確定為識(shí)別出的泰語(yǔ)詞語(yǔ)。

6.一種泰語(yǔ)詞語(yǔ)識(shí)別的裝置，其特征在于，包括：

過(guò)濾分割單元，用于根據(jù)設(shè)定步長(zhǎng)，對(duì)待識(shí)別泰語(yǔ)文檔進(jìn)行過(guò)濾分割處理，獲得包括至少一個(gè)切片泰文字符串的切片集合；

信息熵刷選單元，用于根據(jù)每個(gè)切片泰文字符串的信息熵處理參數(shù)值，對(duì)所述切片集合進(jìn)行刷選，形成詞匯輸出切片集合；

詞語(yǔ)確定單元，用于從所述詞匯輸出切片集合中，將設(shè)定個(gè)數(shù)的切片泰文字符串確定為識(shí)別出的泰語(yǔ)詞語(yǔ)。

7.如權(quán)利要求6所述的裝置，其特征在于，所述信息熵刷選單元包括：

頻數(shù)刷選模塊，用于根據(jù)出現(xiàn)頻數(shù)超過(guò)設(shè)定頻數(shù)的切片泰文字符串，形成第一待輸出切片集合；

凝固程度刷選模塊，用于確定所述第一待輸出切片集合中每個(gè)切片泰文字符串的凝固程度值，并根據(jù)凝固程度值大于第一設(shè)定值的切片泰文字符串，形成第二待輸出切片集合；

自由度刷選模塊，用于確定所述第二待輸出切片集合中每個(gè)切片泰文字符串的信息熵自由度值，并根據(jù)信息熵自由度值大于第二設(shè)定值的切片泰文字符串，形成詞匯輸出切片集合。

8.如權(quán)利要求7所述的裝置，其特征在于，

所述凝固程度刷選模塊，具體用于根據(jù)公式(2)，確定所述第一待輸出切片集合中當(dāng)前切片泰文字符串的凝固程度值；

其中，Pi為當(dāng)前切片泰文字符串的出現(xiàn)頻數(shù)，Pij為當(dāng)前切片泰文字符串中對(duì)應(yīng)的子切片泰文字符串的出現(xiàn)頻數(shù)，co為凝固程度值。