[發(fā)明專(zhuān)利]一種面向知識(shí)圖譜構(gòu)建的實(shí)體關(guān)系抽取方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210049823.8
• 申請(qǐng)日: 2022-01-17
• 公開(kāi)（公告）號(hào): CN114491066A
• 公開(kāi)（公告）日: 2022-05-13
• 發(fā)明（設(shè)計(jì)）人: 譚杰駿;王建軍;金曉偉;郭官峰;胡文斌
• 申請(qǐng)（專(zhuān)利權(quán)）人: 鄭州鍥穎信息科技有限公司
• 主分類(lèi)號(hào): G06F16/36
• 分類(lèi)號(hào): G06F16/36;G06F16/35;G06F40/194;G06F40/295;G06N3/04;G06N3/08
• 代理公司: 武漢科皓知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 肖明洲

1.一種面向知識(shí)圖譜構(gòu)建的實(shí)體關(guān)系抽取方法，其特征在于，包括以下步驟：

步驟1：獲取領(lǐng)域中非結(jié)構(gòu)化文本，并進(jìn)行數(shù)據(jù)預(yù)處理，標(biāo)注文本中出現(xiàn)的實(shí)體、實(shí)體類(lèi)型和實(shí)體之間的關(guān)系，得到訓(xùn)練數(shù)據(jù)；

步驟2：構(gòu)建神經(jīng)網(wǎng)絡(luò)模型；

所述神經(jīng)網(wǎng)絡(luò)模型，由依次連接的prompt層、預(yù)訓(xùn)練語(yǔ)言模型PLM和類(lèi)集中化分類(lèi)器組成；

所述prompt層，用于在原始句子后面加上一個(gè)帶空缺的后綴，將原始句子轉(zhuǎn)化為一個(gè)帶空缺的句子；

所述預(yù)訓(xùn)練語(yǔ)言模型PLM，最前一層是詞嵌入層，用于將原始句子逐詞轉(zhuǎn)為詞向量；包括把每一個(gè)空缺的詞當(dāng)作特殊字符，也轉(zhuǎn)化為詞向量；

所述類(lèi)集中化分類(lèi)器，輸入層連接預(yù)訓(xùn)練語(yǔ)言模型PLM，輸出詞向量屬于每個(gè)類(lèi)的概率；

步驟3：將步驟1中的訓(xùn)練數(shù)據(jù)輸入步驟2中的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，分別訓(xùn)練成為實(shí)體類(lèi)型分類(lèi)模型，實(shí)體關(guān)系分類(lèi)模型；

步驟4：將實(shí)體類(lèi)型分類(lèi)模型和實(shí)體關(guān)系分類(lèi)模型關(guān)聯(lián)起來(lái)整體運(yùn)作，對(duì)新數(shù)據(jù)先鑒定實(shí)體類(lèi)型再在此基礎(chǔ)上抽取實(shí)體關(guān)系。

2.根據(jù)權(quán)利要求1所述的面向知識(shí)圖譜構(gòu)建的實(shí)體關(guān)系抽取方法，其特征在于，步驟1中所述進(jìn)行數(shù)據(jù)預(yù)處理，是在非結(jié)構(gòu)化文本中標(biāo)注出實(shí)體、實(shí)體類(lèi)型和實(shí)體關(guān)系；令原始文本序列為x＝{x₁，x₂，...x_|x|)，設(shè)x包含一對(duì)具有某種關(guān)系的實(shí)體，記為主語(yǔ)s_x和賓語(yǔ)o_x，其中主語(yǔ)和賓語(yǔ)都是x的子序列，主語(yǔ)屬于的實(shí)體類(lèi)型記為t(s_x)，賓語(yǔ)屬于的實(shí)體類(lèi)型記為t(o_x)，他們之間的關(guān)系記為r(s_x，o_x)；然后根據(jù)原始數(shù)據(jù)確定所有可能出現(xiàn)的主語(yǔ)實(shí)體類(lèi)型賓語(yǔ)實(shí)體類(lèi)型和所有實(shí)體關(guān)系類(lèi)型R＝{r₁，r₂，...}，...屬于t(s_x)，...屬于t(o_x)；

將數(shù)據(jù)按照不同的主語(yǔ)賓語(yǔ)實(shí)體類(lèi)型對(duì)p＝{t(s_x)，t(o_x)}進(jìn)行劃分，在數(shù)據(jù)集中出現(xiàn)的所有主語(yǔ)賓語(yǔ)實(shí)體類(lèi)型對(duì)記為P＝{p₁，p₂，...}；對(duì)于每種主語(yǔ)賓語(yǔ)實(shí)體類(lèi)型對(duì)，都有特定而有限的實(shí)體類(lèi)型并且R(p_k)∈R。

3.根據(jù)權(quán)利要求1所述的面向知識(shí)圖譜構(gòu)建的實(shí)體關(guān)系抽取方法，其特征在于，步驟3的具體實(shí)現(xiàn)包括以下子步驟：

步驟3.1：將步驟1中的訓(xùn)練數(shù)據(jù)輸入步驟2中的神經(jīng)網(wǎng)絡(luò)模型的prompt層添加后綴，實(shí)體類(lèi)型分類(lèi)模型訓(xùn)練過(guò)程中的prompt層添加后綴為“即[實(shí)體]是_”；實(shí)體關(guān)系分類(lèi)模型中的prompt層添加后綴為“即[主語(yǔ)]_[賓語(yǔ)]”；

步驟3.2：prompt層將帶空缺詞的句子輸入預(yù)訓(xùn)練語(yǔ)言模型PLM，預(yù)訓(xùn)練語(yǔ)言模型PLM輸出空缺詞的預(yù)測(cè)詞向量，再把預(yù)測(cè)詞向量輸入類(lèi)集中化分類(lèi)器；

步驟3.3：類(lèi)集中化分類(lèi)器將空缺詞的預(yù)測(cè)詞向量與每個(gè)類(lèi)別的標(biāo)準(zhǔn)詞向量作對(duì)比，根據(jù)空缺詞向量與哪個(gè)標(biāo)準(zhǔn)詞向量更接近，判斷詞向量屬于哪個(gè)類(lèi)；

步驟3.4：類(lèi)集中化分類(lèi)器比對(duì)預(yù)訓(xùn)練語(yǔ)言模型PLM輸出的空缺詞的預(yù)測(cè)詞向量v，和每個(gè)類(lèi)的標(biāo)準(zhǔn)詞向量c，計(jì)算它們的相似度；

步驟3.5：在迭代預(yù)定的輪次之后，得到訓(xùn)練完成的模型。

4.根據(jù)權(quán)利要求3所述的面向知識(shí)圖譜構(gòu)建的實(shí)體關(guān)系抽取方法，其特征在于，步驟3.2中，預(yù)訓(xùn)練語(yǔ)言模型PLM輸出空缺詞的預(yù)測(cè)詞向量，是從原始句子到高維向量空間的映射f_θ：x→V，其中θ是預(yù)訓(xùn)練語(yǔ)言模型PLM中包含的所有可訓(xùn)練的參數(shù)。

5.根據(jù)權(quán)利要求3所述的面向知識(shí)圖譜構(gòu)建的實(shí)體關(guān)系抽取方法，其特征在于，步驟3.3中，所述標(biāo)準(zhǔn)詞向量，是在詞嵌入空間隨機(jī)生成張量，即用與空缺詞的預(yù)測(cè)詞向量相同維度的隨機(jī)向量作為標(biāo)注詞向量的初始值，然后在后續(xù)訓(xùn)練過(guò)程中逐步調(diào)整標(biāo)準(zhǔn)詞向量；實(shí)體類(lèi)別分類(lèi)模型抽取主語(yǔ)類(lèi)型時(shí)有標(biāo)準(zhǔn)詞向量集合：實(shí)體類(lèi)別分類(lèi)模型抽取賓語(yǔ)類(lèi)型時(shí)有標(biāo)準(zhǔn)詞向量對(duì)每個(gè)主語(yǔ)類(lèi)型-賓語(yǔ)類(lèi)型對(duì)p_k有標(biāo)準(zhǔn)詞向量