[發(fā)明專(zhuān)利]分詞訓(xùn)練集的生成方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201510329109.4
• 申請(qǐng)日: 2015-06-15
• 公開(kāi)（公告）號(hào): CN104866472B
• 公開(kāi)（公告）日: 2017-10-27
• 發(fā)明（設(shè)計(jì)）人: 白潔;李秀林;肖朔
• 申請(qǐng)（專(zhuān)利權(quán)）人: 百度在線網(wǎng)絡(luò)技術(shù)（北京）有限公司
• 主分類(lèi)號(hào): G06F17/27
• 分類(lèi)號(hào): G06F17/27
• 代理公司: 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙)11201
• 代理人: 宋合成

1.一種分詞訓(xùn)練集的生成方法，其特征在于，包括：

獲取訓(xùn)練語(yǔ)料，并采用不同的分詞器分別對(duì)相同的訓(xùn)練語(yǔ)料進(jìn)行分詞，得到對(duì)應(yīng)不同分詞器的分詞結(jié)果；

將所述分詞結(jié)果劃分為精確匹配的分詞結(jié)果和非精確匹配的分詞結(jié)果；

根據(jù)所述分詞結(jié)果，對(duì)所述非精確匹配的分詞結(jié)果進(jìn)行降噪處理，得到分詞訓(xùn)練集；

所述非精確匹配的分詞結(jié)果包括：粒度不同的分詞結(jié)果和歧義錯(cuò)誤的分詞結(jié)果，所述根據(jù)所述分詞結(jié)果，對(duì)所述非精確匹配的分詞結(jié)果進(jìn)行降噪處理，得到分詞訓(xùn)練集，包括：

在獲取的訓(xùn)練語(yǔ)料中，刪除歧義錯(cuò)誤的分詞結(jié)果對(duì)應(yīng)的訓(xùn)練語(yǔ)料，得到保留的訓(xùn)練語(yǔ)料，并獲取所述保留的訓(xùn)練語(yǔ)料對(duì)應(yīng)的分詞結(jié)果；

在所述保留的訓(xùn)練語(yǔ)料對(duì)應(yīng)的分詞結(jié)果中，選擇樣本詞條，并由所述樣本詞條組成樣本訓(xùn)練集；

在所述樣本訓(xùn)練集內(nèi)，對(duì)粒度不同的分詞結(jié)果進(jìn)行降噪處理，得到分詞訓(xùn)練集；

所述在所述樣本訓(xùn)練集內(nèi)，對(duì)粒度不同的分詞結(jié)果進(jìn)行降噪處理，得到分詞訓(xùn)練集，包括：

對(duì)所述樣本訓(xùn)練集進(jìn)行模型訓(xùn)練，生成多個(gè)特征函數(shù)，并獲取每個(gè)特征函數(shù)的權(quán)重；

計(jì)算每個(gè)特征函數(shù)的模型樣本期望差，根據(jù)每個(gè)特征函數(shù)的權(quán)重和所述模型樣本期望差，確定每個(gè)特征函數(shù)的加權(quán)期望差，并根據(jù)所述加權(quán)期望差對(duì)所述特征函數(shù)進(jìn)行排序；

根據(jù)排序后的特征函數(shù)，對(duì)粒度不同的分詞結(jié)果進(jìn)行修正。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述在所述樣本訓(xùn)練集內(nèi)，對(duì)粒度不同的分詞結(jié)果進(jìn)行降噪處理，得到分詞訓(xùn)練集，還包括：

判斷是否需要繼續(xù)修正；

如果需要，重新進(jìn)行模型訓(xùn)練以及修正；

如果不需要，將修正后的樣本訓(xùn)練集內(nèi)的詞條組成分詞訓(xùn)練集。

3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，當(dāng)按照加權(quán)期望差從大到小的順序排序時(shí)，所述根據(jù)排序后的特征函數(shù)，對(duì)粒度不同的分詞結(jié)果進(jìn)行修正，包括：

在樣本訓(xùn)練集內(nèi)，對(duì)應(yīng)粒度不同的分詞結(jié)果，將排序在前的特征函數(shù)對(duì)應(yīng)的詞條，統(tǒng)一替換為排序在后的特征函數(shù)對(duì)應(yīng)的詞條。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述在所述保留的訓(xùn)練語(yǔ)料對(duì)應(yīng)的分詞結(jié)果中，選擇樣本詞條，包括：

在所述保留的訓(xùn)練語(yǔ)料對(duì)應(yīng)的分詞結(jié)果中，選擇出現(xiàn)頻率大于預(yù)設(shè)值的詞條，確定為樣本詞條。

5.一種分詞訓(xùn)練集的生成裝置，其特征在于，包括：

分詞模塊，用于獲取訓(xùn)練語(yǔ)料，并采用不同的分詞器分別對(duì)相同的訓(xùn)練語(yǔ)料進(jìn)行分詞，得到對(duì)應(yīng)不同分詞器的分詞結(jié)果；

劃分模塊，用于將所述分詞結(jié)果劃分為精確匹配的分詞結(jié)果和非精確匹配的分詞結(jié)果；

生成模塊，用于根據(jù)所述分詞結(jié)果，對(duì)所述非精確匹配的分詞結(jié)果進(jìn)行降噪處理，得到分詞訓(xùn)練集；

所述非精確匹配的分詞結(jié)果包括：粒度不同的分詞結(jié)果和歧義錯(cuò)誤的分詞結(jié)果，所述生成模塊包括：

第一降噪模塊，用于在獲取的訓(xùn)練語(yǔ)料中，刪除歧義錯(cuò)誤的分詞結(jié)果對(duì)應(yīng)的訓(xùn)練語(yǔ)料，得到保留的訓(xùn)練語(yǔ)料，并獲取所述保留的訓(xùn)練語(yǔ)料對(duì)應(yīng)的分詞結(jié)果；

選擇模塊，用于在所述保留的訓(xùn)練語(yǔ)料對(duì)應(yīng)的分詞結(jié)果中，選擇樣本詞條，并由所述樣本詞條組成樣本訓(xùn)練集；

第二降噪模塊，用于在所述樣本訓(xùn)練集內(nèi)，對(duì)粒度不同的分詞結(jié)果進(jìn)行降噪處理，得到分詞訓(xùn)練集；

所述第二降噪模塊包括：

第一單元，用于對(duì)所述樣本訓(xùn)練集進(jìn)行模型訓(xùn)練，生成多個(gè)特征函數(shù)，并獲取每個(gè)特征函數(shù)的權(quán)重；

第二單元，用于計(jì)算每個(gè)特征函數(shù)的模型樣本期望差，根據(jù)每個(gè)特征函數(shù)的權(quán)重和所述模型樣本期望差，確定每個(gè)特征函數(shù)的加權(quán)期望差，并根據(jù)所述加權(quán)期望差對(duì)所述特征函數(shù)進(jìn)行排序；

第三單元，用于根據(jù)排序后的特征函數(shù)，對(duì)粒度不同的分詞結(jié)果進(jìn)行修正。

6.根據(jù)權(quán)利要求5所述的裝置，其特征在于，所述第二降噪模塊還包括：

第四單元，用于判斷是否需要繼續(xù)修正；如果需要，觸發(fā)重新進(jìn)行模型訓(xùn)練以及修正；

第五單元，用于如果不需要，將修正后的樣本訓(xùn)練集內(nèi)的詞條組成分詞訓(xùn)練集。

7.根據(jù)權(quán)利要求5或6所述的裝置，其特征在于，當(dāng)按照加權(quán)期望差從大到小的順序排序時(shí)，所述第三單元具體用于：

在樣本訓(xùn)練集內(nèi)，對(duì)應(yīng)粒度不同的分詞結(jié)果，將排序在前的特征函數(shù)對(duì)應(yīng)的詞條，統(tǒng)一替換為排序在后的特征函數(shù)對(duì)應(yīng)的詞條。

8.根據(jù)權(quán)利要求5所述的裝置，其特征在于，所述選擇模塊具體用于：

在所述保留的訓(xùn)練語(yǔ)料對(duì)應(yīng)的分詞結(jié)果中，選擇出現(xiàn)頻率大于預(yù)設(shè)值的詞條，確定為樣本詞條。