[發(fā)明專(zhuān)利]一種實(shí)體概念標(biāo)注方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201810101830.1
• 申請(qǐng)日: 2018-02-01
• 公開(kāi)（公告）號(hào): CN108460011B
• 公開(kāi)（公告）日: 2022-03-25
• 發(fā)明（設(shè)計(jì)）人: 任可欣;馮知凡;徐也;陸超;張揚(yáng);朱勇
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類(lèi)號(hào): G06F40/295
• 分類(lèi)號(hào): G06F40/295;G06F40/289;G06F16/36;G06F16/335
• 代理公司: 北京鴻德海業(yè)知識(shí)產(chǎn)權(quán)代理有限公司 11412
• 代理人: 袁媛

1.一種實(shí)體概念標(biāo)注方法，其特征在于，包括：

獲取輸入文本中實(shí)體的候選概念；

根據(jù)實(shí)體id從知識(shí)庫(kù)中獲取輸入文本的先驗(yàn)特征、字符級(jí)別特征及語(yǔ)義特征，得到知識(shí)庫(kù)中實(shí)體對(duì)應(yīng)的id滿(mǎn)足輸入文本語(yǔ)境的概率，以對(duì)實(shí)體的候選概念進(jìn)行不相關(guān)概念過(guò)濾；

對(duì)過(guò)濾后的候選概念進(jìn)行重啟動(dòng)隨機(jī)游走排序，根據(jù)排序結(jié)果標(biāo)注實(shí)體概念。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，獲取輸入文本中實(shí)體的候選概念包括：

對(duì)輸入文本進(jìn)行分詞及實(shí)體識(shí)別；

從知識(shí)庫(kù)中拉取所述實(shí)體的全部概念作為候選概念。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，

所述知識(shí)庫(kù)是通過(guò)整合類(lèi)別標(biāo)簽和百科實(shí)體分類(lèi)構(gòu)建的，通過(guò)id組織管理實(shí)體-概念；

通過(guò)識(shí)別到的實(shí)體從知識(shí)庫(kù)中拉取到相關(guān)id，進(jìn)而通過(guò)相關(guān)id拉取到全部概念作為候選概念。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，對(duì)實(shí)體的候選概念進(jìn)行不相關(guān)概念過(guò)濾包括：

將輸入文本及實(shí)體在知識(shí)庫(kù)中對(duì)應(yīng)的id輸入預(yù)先訓(xùn)練的xgboost模型，得到知識(shí)庫(kù)中實(shí)體對(duì)應(yīng)的id滿(mǎn)足輸入文本語(yǔ)境的概率，過(guò)濾概率低于閾值的id對(duì)應(yīng)的概念。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，訓(xùn)練所述xgboost模型包括:

為輸入文本標(biāo)注實(shí)體id作為訓(xùn)練樣本；

根據(jù)所述訓(xùn)練樣本，采用梯度下降法對(duì)所述xgboost模型進(jìn)行訓(xùn)練，使輸出結(jié)果逼近輸入文本標(biāo)注的實(shí)體id。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，對(duì)過(guò)濾后的候選概念進(jìn)行重啟動(dòng)隨機(jī)游走排序，根據(jù)排序結(jié)果標(biāo)注實(shí)體概念包括：

基于知識(shí)庫(kù)、百科文本和查詢(xún)?nèi)罩緲?gòu)建輸入文本特征；

根據(jù)過(guò)濾后的候選概念及輸入文本特征建立輸入文本的初始語(yǔ)義圖；

在初始語(yǔ)義圖中進(jìn)行重啟動(dòng)隨機(jī)排序，將邊權(quán)重最大的概念標(biāo)注為實(shí)體概念。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，

基于知識(shí)庫(kù)、百科文本和查詢(xún)?nèi)罩緲?gòu)建輸入文本特征包括：

以百科文本作為語(yǔ)料構(gòu)建實(shí)體-概念特征和概念-概念特征，從查詢(xún)?nèi)罩局型诰蛑甘驹~-概念特征。

8.一種實(shí)體概念標(biāo)注系統(tǒng)，其特征在于，包括：

候選概念獲取模塊，用于獲取輸入文本中實(shí)體的候選概念；

不相關(guān)概念過(guò)濾模塊，用于根據(jù)實(shí)體id從知識(shí)庫(kù)中獲取輸入文本的先驗(yàn)特征、字符級(jí)別特征及語(yǔ)義特征，得到知識(shí)庫(kù)中實(shí)體對(duì)應(yīng)的id滿(mǎn)足輸入文本語(yǔ)境的概率，以對(duì)實(shí)體的候選概念進(jìn)行不相關(guān)概念過(guò)濾；

標(biāo)注模塊，用于對(duì)過(guò)濾后的候選概念進(jìn)行重啟動(dòng)隨機(jī)游走排序，根據(jù)排序結(jié)果標(biāo)注實(shí)體概念。

9.根據(jù)權(quán)利要求8所述的系統(tǒng)，其特征在于，所述候選概念獲取模塊具體用于：

對(duì)輸入文本進(jìn)行分詞及實(shí)體識(shí)別；

從知識(shí)庫(kù)中拉取所述實(shí)體的全部概念作為候選概念。

10.根據(jù)權(quán)利要求9所述的系統(tǒng)，其特征在于，所述知識(shí)庫(kù)是通過(guò)整合類(lèi)別標(biāo)簽和百科實(shí)體分類(lèi)構(gòu)建的。

11.根據(jù)權(quán)利要求8所述的系統(tǒng)，其特征在于，所述不相關(guān)概念過(guò)濾模塊具體用于：

將輸入文本及實(shí)體在知識(shí)庫(kù)中對(duì)應(yīng)的id輸入預(yù)先訓(xùn)練的xgboost模型，得到知識(shí)庫(kù)中實(shí)體對(duì)應(yīng)的id滿(mǎn)足輸入文本語(yǔ)境的概率，過(guò)濾概率低于閾值的id對(duì)應(yīng)的概念。

12.根據(jù)權(quán)利要求11所述的系統(tǒng)，其特征在于，所述系統(tǒng)還包括模型訓(xùn)練模塊，用于:

為輸入文本標(biāo)注實(shí)體id作為訓(xùn)練樣本；

根據(jù)所述訓(xùn)練樣本，采用梯度下降法對(duì)所述xgboost模型進(jìn)行訓(xùn)練，使輸出結(jié)果逼近輸入文本標(biāo)注的實(shí)體id。