[發(fā)明專(zhuān)利]實(shí)體鏈接方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202110326779.6
• 申請(qǐng)日: 2021-03-26
• 公開(kāi)（公告）號(hào): CN112989808A
• 公開(kāi)（公告）日: 2021-06-18
• 發(fā)明（設(shè)計(jì)）人: 李涓子;祝方韋;劉丁梟;侯磊;張鵬;唐杰;許斌
• 申請(qǐng)（專(zhuān)利權(quán)）人: 清華大學(xué)
• 主分類(lèi)號(hào): G06F40/242
• 分類(lèi)號(hào): G06F40/242;G06F40/289;G06F40/295;G06F40/30;G06K9/62;G06F16/36
• 代理公司: 北京路浩知識(shí)產(chǎn)權(quán)代理有限公司 11002
• 代理人: 苗曉靜

1.一種實(shí)體鏈接方法，其特征在于，包括：

基于詞典的方式進(jìn)行實(shí)體發(fā)現(xiàn)，得到實(shí)體提及；

基于詞和實(shí)體的聯(lián)合表示的方式進(jìn)行實(shí)體鏈接，得到所述實(shí)體提及與知識(shí)庫(kù)中的實(shí)體的鏈接關(guān)系；

對(duì)所述鏈接關(guān)系進(jìn)行減枝處理。

2.根據(jù)權(quán)利要求1所述的實(shí)體鏈接方法，其特征在于，基于詞典的方式進(jìn)行實(shí)體發(fā)現(xiàn)，得到實(shí)體提及，包括：

構(gòu)建錨文本詞典；

基于所述錨文本詞典，采用實(shí)體提及匹配算法，識(shí)別所述文檔中的實(shí)體提及。

3.根據(jù)權(quán)利要求2所述的實(shí)體鏈接方法，其特征在于，構(gòu)建錨文本詞典，包括：

從所述知識(shí)庫(kù)中提取實(shí)體，以及提取與所述實(shí)體對(duì)應(yīng)的錨文本；

在提取得到的錨文本m中，應(yīng)用以下過(guò)濾規(guī)則進(jìn)行過(guò)濾：

去除掉length(m)≤length的錨文本；

去除掉link_prob(m)≤prob的錨文本；

去除掉count(m)≤count的錨文本；

根據(jù)過(guò)濾之后得到的錨文本，建立實(shí)體與錨文本之間的對(duì)應(yīng)關(guān)系，構(gòu)建錨文本詞典；

其中，length、prob、count的數(shù)值預(yù)先設(shè)定；length(m)是指錨文本m的長(zhǎng)度，link_prob(m)是指錨文本m的先驗(yàn)概率，錨文本m的先驗(yàn)概率是指錨文本m作為實(shí)體提及在文檔中出現(xiàn)的概率；link_prob(m)＝freq(m)/count(m)，其中，freq(m)是m作為錨文本出現(xiàn)的次數(shù)，count(m)是m在語(yǔ)料庫(kù)中的所有出現(xiàn)次數(shù)。

4.根據(jù)權(quán)利要求2所述的實(shí)體鏈接方法，其特征在于，基于所述錨文本詞典，采用實(shí)體提及匹配算法，識(shí)別所述文檔中的實(shí)體提及，包括：

利用Aho-Corasick算法，將所述文檔在錨文本詞典里的文本片段識(shí)別出來(lái)；

對(duì)于識(shí)別結(jié)果，若存在沖突現(xiàn)象：一個(gè)實(shí)體提及m1嵌套在另一個(gè)實(shí)體提及m2中，或，一個(gè)實(shí)體提及m1和另一個(gè)實(shí)體提及m2相互重疊，則根據(jù)下面方式進(jìn)行沖突解決：

對(duì)于長(zhǎng)度不同的m1和m2，如果length(m1)length(m2)，則保留m1，反之，保留m2；

對(duì)于長(zhǎng)度相同的實(shí)體提及，如果link_prob(m1)link_prob(m2)，則保留m1，反之，保留m2。

5.根據(jù)權(quán)利要求1所述的實(shí)體鏈接方法，其特征在于，基于詞和實(shí)體的聯(lián)合表示的方式進(jìn)行實(shí)體鏈接，得到所述實(shí)體提及與知識(shí)庫(kù)中的實(shí)體的鏈接關(guān)系，包括：

建立詞和實(shí)體的聯(lián)合表示模型；

基于所述詞和實(shí)體的聯(lián)合表示模型，采用概率實(shí)體模型，建立所述實(shí)體提及與知識(shí)庫(kù)中的實(shí)體的鏈接關(guān)系。

6.根據(jù)權(quán)利要求5所述的實(shí)體鏈接方法，其特征在于，所述詞和實(shí)體的聯(lián)合表示模型包括skip-gram模型、知識(shí)庫(kù)模型和錨文本上下文模型的組合；相應(yīng)地，建立詞和實(shí)體的聯(lián)合表示模型，包括：

建立skip-gram模型，通過(guò)預(yù)測(cè)詞的相鄰詞學(xué)習(xí)給定文本語(yǔ)料中詞的表示；

建立知識(shí)庫(kù)模型，通過(guò)預(yù)測(cè)目標(biāo)實(shí)體相鄰的實(shí)體來(lái)學(xué)習(xí)實(shí)體的表示；

建立錨文本上下文模型，將錨文本替換為相應(yīng)的實(shí)體，預(yù)測(cè)該實(shí)體周?chē)挛牡脑~，將詞和實(shí)體映射到同一個(gè)語(yǔ)義空間中；

在對(duì)所述詞和實(shí)體的聯(lián)合表示模型進(jìn)行訓(xùn)練時(shí)，所述詞和實(shí)體的聯(lián)合表示模型的總目標(biāo)為最大化三個(gè)模型目標(biāo)函數(shù)的線(xiàn)性組合。