[發(fā)明專利]一種基于同義詞擴展的貝葉斯詞義消歧方法

在審

• 申請?zhí)枺?/td>: 201611157518.1
• 申請日: 2016-12-15
• 公開（公告）號: CN106598947A
• 公開（公告）日: 2017-04-26
• 發(fā)明（設(shè)計）人: 楊陟卓;張虎;李茹;陳千;譚紅葉
• 申請（專利權(quán)）人: 山西大學(xué)
• 主分類號: G06F17/27
• 分類號: G06F17/27;G06K9/62
• 代理公司: 山西五維專利事務(wù)所(有限公司)14105
• 代理人: 郭海燕

1.一種基于同義詞擴展的貝葉斯詞義消歧方法，其特征在于包括以下步驟：

步驟1、采用同義詞詞林將訓(xùn)練語料庫的上下文進行擴展，生成大量偽訓(xùn)練語料；

步驟2、利用詞語搭配語料庫去除偽訓(xùn)練語料中的噪聲，生成偽訓(xùn)練語料庫；

步驟3、同時采用訓(xùn)練語料庫和偽訓(xùn)練語料庫訓(xùn)練貝葉斯消歧模型；

步驟4、將測試語料輸入貝葉斯消歧模型，綜合利用兩種語料庫中的消歧知識，共同決策歧義詞的詞義。

2.根據(jù)權(quán)利要求1所述的一種基于同義詞擴展的貝葉斯詞義消歧方法，其特征在于：所述步驟1的具體步驟為：首先，采用人工標(biāo)注的方式建立小規(guī)模詞義消歧訓(xùn)練語料庫，然后利用同義詞詞林，對歧義詞所處句子中的上下文進行擴展，最后將擴展后的同義詞、歧義詞以及該句中歧義詞的詞義，生成大量偽訓(xùn)練語料。

3.根據(jù)權(quán)利要求1所述的一種基于同義詞擴展的貝葉斯詞義消歧方法，其特征在于步驟2的具體步驟為：利用同義詞詞林對歧義詞的上下文進行擴展，針對擴展的上下文，統(tǒng)計與歧義詞在詞語搭配語料庫中共現(xiàn)次數(shù)，只利用具有一定共現(xiàn)次數(shù)的上下文，構(gòu)建偽訓(xùn)練語料庫。

4.根據(jù)權(quán)利要求1所述的一種基于同義詞擴展的貝葉斯詞義消歧方法，其特征在于：所述步驟3中同時采用訓(xùn)練語料庫和偽訓(xùn)練語料庫訓(xùn)練貝葉斯消歧模型，計算公式為：

$p\left(s_i\right|w_{-L}...w_0...w_L)\∝p\left(s_i\right)\underset{f_j\∈F}{\Π}p\left(f_j\right|s_i),$

公式中，s_i表示歧義詞詞義，w_-L...w_L表示歧義詞w₀附近一定窗口大小L下的詞語，f_j表示歧義詞的某個上下文特征，F(xiàn)表示上下文的特征集合，p(f_j|s_i)表示詞義與特征的條件概率，計算如公式為：

$p\left(f_j\right|s_i)=\frac{c(f_j,s_i)}{c\left(s_i\right)},$

c(s_i)表示詞義s_i在語料庫中出現(xiàn)的次數(shù)，c(f_j,s_i)表示特征f_j與詞義s_i在訓(xùn)練語料中的共現(xiàn)次數(shù)。

5.根據(jù)權(quán)利要求1所述的一種基于同義詞擴展的貝葉斯詞義消歧方法，其特征在于：所述步驟4的具體步驟為:將由同義詞詞林?jǐn)U展的上下文所組成的語言片段，當(dāng)作偽訓(xùn)練語料，綜合利用訓(xùn)練語料庫和偽訓(xùn)練語料庫中的知識，進行詞義消歧，在估計詞義和特征的條件概率時，由以下公式計算得出：

$p\left(f_j\right|s_i)=\frac{c_t(f_j,s_i)}{c_t\left(s_i\right)}+\mathrm{\λ}\frac{c_p(f_j,s_i)}{c_p\left(s_i\right)}$

公式中c_t(f_j,s_i)表示詞義s_i與特征f_j在訓(xùn)練語料中的共現(xiàn)次數(shù)，c_t(s_i)表示詞義s_i在訓(xùn)練語料中的出現(xiàn)次數(shù)，c_p(f_j,s_i)表示特征與歧義詞在偽訓(xùn)練語料中的共現(xiàn)次數(shù)，c_p(s_i)表示詞義s_i在偽訓(xùn)練語料中出現(xiàn)次數(shù)，λ取值為0.7。