[發(fā)明專利]泰語(yǔ)術(shù)語(yǔ)提取的方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201710982767.2
• 申請(qǐng)日: 2017-10-20
• 公開（公告）號(hào): CN107704452B
• 公開（公告）日: 2020-12-22
• 發(fā)明（設(shè)計(jì)）人: 張凱;閆昊;車雙武
• 申請(qǐng)（專利權(quán)）人: 傳神聯(lián)合（北京）信息技術(shù)有限公司
• 主分類號(hào): G06F40/279
• 分類號(hào): G06F40/279
• 代理公司: 北京康盛知識(shí)產(chǎn)權(quán)代理有限公司 11331
• 代理人: 李曉芳

1.一種泰語(yǔ)術(shù)語(yǔ)提取的方法，其特征在于，包括：

從待處理泰語(yǔ)文檔中提取與設(shè)定泰語(yǔ)詞典中詞語(yǔ)匹配的第一泰語(yǔ)詞語(yǔ)進(jìn)行存儲(chǔ)，并將提取所述第一泰語(yǔ)詞語(yǔ)后的所述待處理泰語(yǔ)文檔確定為待識(shí)別泰語(yǔ)文檔；

對(duì)所述待識(shí)別泰語(yǔ)文檔進(jìn)行信息熵處理，識(shí)別出滿足信息熵處理參數(shù)刷選條件的第二泰語(yǔ)詞語(yǔ)；

將所述第一泰語(yǔ)詞語(yǔ)和第二泰語(yǔ)詞語(yǔ)確定為待提取泰語(yǔ)詞語(yǔ)，并統(tǒng)計(jì)所述待處理泰語(yǔ)文檔中每個(gè)待提取泰語(yǔ)詞語(yǔ)的出現(xiàn)頻數(shù)；

將所述出現(xiàn)頻數(shù)滿足設(shè)定條件的所述待提取泰語(yǔ)詞語(yǔ)確定為泰語(yǔ)術(shù)語(yǔ)，并進(jìn)行提取。

2.如權(quán)利要求1所述的方法，其特征在于，所述對(duì)所述待識(shí)別泰語(yǔ)文檔進(jìn)行信息熵處理，識(shí)別出滿足信息熵處理參數(shù)刷選條件的第二泰語(yǔ)詞語(yǔ)包括:

根據(jù)設(shè)定步長(zhǎng)，對(duì)待識(shí)別泰語(yǔ)文檔進(jìn)行過濾分割處理，獲得包括至少一個(gè)切片泰文字符串的切片集合；

根據(jù)每個(gè)切片泰文字符串的信息熵處理參數(shù)值，對(duì)所述切片集合進(jìn)行刷選，形成詞匯輸出切片集合；

從所述詞匯輸出切片集合中，將設(shè)定個(gè)數(shù)的切片泰文字符串確定為識(shí)別出的第二泰語(yǔ)詞語(yǔ)。

3.如權(quán)利要求2所述的方法，其特征在于，當(dāng)所述信息熵處理參數(shù)值包括出現(xiàn)頻數(shù)、凝固程度值、以及信息熵自由度值時(shí)，所述根據(jù)每個(gè)切片泰文字符串的信息熵處理參數(shù)值，對(duì)所述切片集合進(jìn)行刷選，形成詞匯輸出切片集合包括：

根據(jù)出現(xiàn)頻數(shù)超過設(shè)定頻數(shù)的切片泰文字符串，形成第一待輸出切片集合；

根據(jù)公式(2)，確定所述第一待輸出切片集合中當(dāng)前切片泰文字符串的凝固程度值，并根據(jù)凝固程度值大于第一設(shè)定值的切片泰文字符串，形成第二待輸出切片集合；

根據(jù)公式(3)，確定當(dāng)前切片泰文字符串的左鄰字信息熵和右鄰字信息熵，根據(jù)公式(4)，將所述左鄰字信息熵和右鄰字信息熵中的較小值，確定為所述當(dāng)前切片泰文字符串的信息熵自由度值，并根據(jù)信息熵自由度值大于第二設(shè)定值的切片泰文字符串，形成詞匯輸出切片集合；

其中，Pi為每個(gè)切片泰文字符串的出現(xiàn)頻數(shù)，Pij為當(dāng)前切片泰文字符串中對(duì)應(yīng)的子切片泰文字符串的出現(xiàn)頻數(shù)，co為凝固程度值，P1j為第一個(gè)切片泰文字符串中對(duì)應(yīng)的子切片泰文字符串的出現(xiàn)頻數(shù)，P2j為第二個(gè)切片泰文字符串中對(duì)應(yīng)的子切片泰文字符串的出現(xiàn)頻數(shù)；

其中，Pi為每個(gè)切片泰文字符串的出現(xiàn)頻數(shù)，H(U)為信息熵，E[-logPi]為求單個(gè)信號(hào)不確定性-logPi的統(tǒng)計(jì)平均值，n為信源頭符號(hào)取值種類的數(shù)量；

free＝min{H(U)1,H(U)2,...H(U)n}---------------公式(4)

其中，H(U)為信息熵，free為信息熵自由度值，H(U)1為第一個(gè)切片泰文字符串的信息熵，H(U)2為第二個(gè)切片泰文字符串的信息熵，H(U)n為第n個(gè)切片泰文字符串的信息熵。

4.如權(quán)利要求2所述的方法，其特征在于，所述從所述詞匯輸出切片集合中，將設(shè)定個(gè)數(shù)的切片泰文字符串確定為識(shí)別出的第二泰語(yǔ)詞語(yǔ)包括：

根據(jù)出現(xiàn)頻率的高低對(duì)所述詞匯輸出切片集合中的每個(gè)切片泰文字符串進(jìn)行前后排序；

將位于最前方的設(shè)定個(gè)數(shù)的切片泰文字符串確定為識(shí)別出的第二泰語(yǔ)詞語(yǔ)。

5.如權(quán)利要求1所述的方法，其特征在于，所述將所述出現(xiàn)頻數(shù)滿足設(shè)定條件的所述待提取泰語(yǔ)詞語(yǔ)確定為泰語(yǔ)術(shù)語(yǔ)包括：

將泰文字符串長(zhǎng)度小于設(shè)定長(zhǎng)度的所述待提取泰語(yǔ)詞語(yǔ)確定為第一待提取泰語(yǔ)詞語(yǔ)；

根據(jù)出現(xiàn)頻率的高低對(duì)每個(gè)第一待提取泰語(yǔ)詞語(yǔ)進(jìn)行前后排序；

將位于最前方的設(shè)定個(gè)數(shù)的所述第一待提取泰語(yǔ)詞語(yǔ)確定為所述泰語(yǔ)術(shù)語(yǔ)。