[發(fā)明專利]一種實(shí)體關(guān)系的抽取方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010058018.2
• 申請(qǐng)日: 2020-01-16
• 公開（公告）號(hào): CN111274394B
• 公開（公告）日: 2022-10-25
• 發(fā)明（設(shè)計(jì)）人: 黃媛;鄧蔚;李智星;林智敏;李子楊;王曉浪
• 申請(qǐng)（專利權(quán)）人: 重慶郵電大學(xué)
• 主分類號(hào): G06F16/36
• 分類號(hào): G06F16/36;G06F16/35;G06F40/211;G06F40/284;G06K9/62
• 代理公司: 重慶輝騰律師事務(wù)所 50215
• 代理人: 王海軍

1.一種實(shí)體關(guān)系的抽取方法，其特征在于，所述方法包括以下步驟：

1)利用外部的自然語(yǔ)言處理工具獲取終端或服務(wù)器提供的每條語(yǔ)料的句法信息，包括詞性標(biāo)注、句法成分分析以及依存分析；

2)對(duì)每條語(yǔ)料進(jìn)行預(yù)處理，將預(yù)處理后的語(yǔ)料輸入到BERT模型中；獲取每條語(yǔ)料的序列特征向量和語(yǔ)料中每個(gè)字的實(shí)值特征向量；

3)利用步驟1)獲取的詞性標(biāo)注和句法成分，獲取包含實(shí)體對(duì)的完整短句，利用詞向量模型將所述完整短句中每個(gè)字與實(shí)體對(duì)中兩個(gè)實(shí)體各自的依存關(guān)系映射為實(shí)值向量；

步驟301)根據(jù)步驟1)的句法成分分析結(jié)果，去除句子中與關(guān)系標(biāo)簽語(yǔ)義無(wú)關(guān)的成分結(jié)構(gòu)短語(yǔ)，得到包含實(shí)體對(duì)的完整句子；

步驟302)在所述包含實(shí)體對(duì)的完整句子上，利用步驟1)獲取的詞性標(biāo)注去除句子中與關(guān)系標(biāo)簽語(yǔ)義無(wú)關(guān)的詞語(yǔ)，得到最短的完整短句；

步驟303)利用詞向量模型將所述完整短句中每個(gè)字與實(shí)體對(duì)中兩個(gè)實(shí)體各自的依存關(guān)系映射為第一實(shí)值向量w_ie1和第二實(shí)值向量w_ie2；

4)在步驟3)的基礎(chǔ)上采用基于依存分析的字級(jí)別的注意力機(jī)制，獲取局部上下文語(yǔ)義特征向量；

步驟401)將完整短句中n個(gè)字分別對(duì)應(yīng)的隱藏向量w₁,w₂,...w_n輸入到注意力機(jī)制模型中；使用前饋神經(jīng)網(wǎng)絡(luò)，基于每個(gè)字與實(shí)體對(duì)的依存關(guān)系，計(jì)算每個(gè)字與實(shí)體對(duì)之間的語(yǔ)義關(guān)聯(lián)度，語(yǔ)義關(guān)聯(lián)度的計(jì)算公式如下：g_i＝tanh(W[w_i；w_ie1；w_ie2]+b)；

其中，g_i表示第i個(gè)字與實(shí)體對(duì)的語(yǔ)義關(guān)聯(lián)度；w_i為第i個(gè)字的隱藏向量，w_ie1為第i個(gè)字和第一實(shí)體之間的依存關(guān)系所映射的實(shí)值向量，w_ie2為第i個(gè)字和第二實(shí)體之間的依存關(guān)系所映射的實(shí)值向量；

步驟402)將每個(gè)字與實(shí)體對(duì)之間的語(yǔ)義關(guān)聯(lián)度g₁,g₂,...g_w依次輸入到softmax激勵(lì)函數(shù)，得到最終實(shí)體上下文字的權(quán)重α₁,α₂,...α_w，計(jì)算權(quán)重表示為

步驟403)采用字級(jí)別的注意力機(jī)制，將各個(gè)字對(duì)應(yīng)的隱藏向量通過(guò)加權(quán)求和的方式求取出局部上下文語(yǔ)義特征向量H，表示為

5)獲得實(shí)體對(duì)的平移距離特征向量，將各個(gè)特征向量進(jìn)行融合，從而抽取出的實(shí)體關(guān)系的多粒度特征；

步驟501)實(shí)體由一個(gè)或者多個(gè)字組成，通過(guò)計(jì)算BERT輸出的實(shí)體中各個(gè)字向量的平均值得到實(shí)體對(duì)向量，即第一實(shí)體向量e₁和第二實(shí)體向量e₂；

步驟502)計(jì)算實(shí)體對(duì)的平移距離特征向量H₁＝(e₁-e₂)；

步驟503)將語(yǔ)料序列特征向量H₀、局部上下文語(yǔ)義特征向量H和實(shí)體對(duì)的平移距離特征向量H₁進(jìn)行拼接，并將拼接向量的多粒度特征作為抽取出的實(shí)體關(guān)系特征；

其中，獲得第一實(shí)體向量和第二實(shí)體向量表示如下：

H_i表示BERT輸出的第一實(shí)體的開始向量，H_j表示BERT輸出的第一實(shí)體的終止向量，H_k表示BERT輸出的第二實(shí)體的開始向量，H_m表示BERT輸出的第二實(shí)體的終止向量；

6)將抽取出的實(shí)體關(guān)系的多粒度特征輸入到分類器中進(jìn)行分類，獲取該實(shí)體關(guān)系特征所屬的標(biāo)簽。