[發明專利]一種基于大量偽數據的貝葉斯詞義消歧方法

在審

• 申請號: 201710572187.6
• 申請日: 2017-07-13
• 公開（公告）號: CN107357786A
• 公開（公告）日: 2017-11-17
• 發明（設計）人: 楊陟卓;張虎;李茹;譚紅葉;陳千
• 申請（專利權）人: 山西大學
• 主分類號: G06F17/27
• 分類號: G06F17/27
• 代理公司: 山西五維專利事務所(有限公司)14105
• 代理人: 程園園

1.一種基于大量偽數據的貝葉斯詞義消歧方法，其特征在于：包括以下步驟：

步驟1、采用依存句法分析器對訓練語料庫中的訓練實例進行分析，收集與目標歧義詞具有依存關系的元組；

步驟2、將步驟1收集的依存元組輸入機器翻譯系統，獲取包含該依存元組的雙語例句，并將其加入偽訓練語料庫；

步驟3、重復步驟1、2，對所有訓練語料庫中的訓練實例進行處理，同時將所有不重復的雙語例句加入偽訓練語料庫，直到沒有新的雙語例句加入偽訓練語料庫；

步驟4、同時采用訓練語料庫和偽訓練語料庫訓練貝葉斯消歧模型，最后利用貝葉斯消歧模型決策測試實例中歧義詞的詞義。

2.根據權利要求1所述的一種基于大量偽數據的貝葉斯詞義消歧方法，其特征在于：所述步驟2中的機器翻譯系統為百度翻譯或有道翻譯。

3.根據權利要求1或2所述的一種新的基于大量偽數據的貝葉斯詞義消歧方法，其特征在于：所述步驟4中利用貝葉斯消歧模型決策測試實例中歧義詞的詞義時，在估計詞義和特征的條件概率時，由以下公式計算得出：

p(fj|si)=ct(fj,si)ct(si)+λcp(fj,si)cp(si)]]>

公式中，p(f_j|s_i)表示詞義與特征的條件概率，c_t(f_j,s_i)表示詞義s_i與特征f_j在訓練語料中的共現次數，c_t(s_i)表示詞義s_i在訓練語料中的出現次數，c_p(f_j,s_i)表示特征與歧義詞在偽訓練語料中的共現次數，c_p(s_i)表示詞義s_i在偽訓練語料中出現次數，λ取值范圍為0.8。