[發(fā)明專(zhuān)利]基于多語(yǔ)義學(xué)習(xí)的知識(shí)圖譜補(bǔ)全方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110059002.8
• 申請(qǐng)日: 2021-01-17
• 公開(kāi)（公告）號(hào): CN112667824A
• 公開(kāi)（公告）日: 2021-04-16
• 發(fā)明（設(shè)計(jì)）人: 尹寶才;王家普;胡永利;孫艷豐;王博岳
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京工業(yè)大學(xué)
• 主分類(lèi)號(hào): G06F16/36
• 分類(lèi)號(hào): G06F16/36;G06F16/28;G06K9/62;G06F40/30;G06N3/04;G06N3/08
• 代理公司: 北京思海天達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11203
• 代理人: 沈波

本發(fā)明公開(kāi)了基于多語(yǔ)義學(xué)習(xí)的知識(shí)圖譜補(bǔ)全方法，將實(shí)體e₁和r分別先通過(guò)多個(gè)轉(zhuǎn)換矩陣學(xué)習(xí)到多個(gè)隱藏的語(yǔ)義表示。在前面的知識(shí)圖嵌入捕捉實(shí)體和關(guān)系多個(gè)隱藏語(yǔ)義的步驟中，得到對(duì)同一實(shí)體或關(guān)系的多個(gè)特征嵌入。利用深度殘差注意力網(wǎng)絡(luò)優(yōu)化實(shí)體和關(guān)系的嵌入。引入去噪網(wǎng)絡(luò)優(yōu)化實(shí)體嵌入和關(guān)系嵌入。接下來(lái)先簡(jiǎn)述去噪網(wǎng)絡(luò)的結(jié)構(gòu)。引入多步融合的過(guò)程來(lái)充分融合實(shí)體和關(guān)系；本發(fā)明提出來(lái)的深度殘差注意力網(wǎng)絡(luò)，能有效減少引入多個(gè)隱藏語(yǔ)義帶來(lái)大量噪聲的問(wèn)題。同時(shí)去噪網(wǎng)絡(luò)和多步融合網(wǎng)絡(luò)能充分融合實(shí)體和關(guān)系，來(lái)得到最符合的預(yù)測(cè)結(jié)果。

技術(shù)領(lǐng)域

本發(fā)明適用于知識(shí)領(lǐng)域知識(shí)圖譜補(bǔ)全技術(shù)，尤其涉及一種基于多語(yǔ)義學(xué)習(xí)的知識(shí)圖譜補(bǔ)全方法。

背景技術(shù)

知識(shí)圖作為人類(lèi)知識(shí)的集合，已經(jīng)成為人工智能(AI)和自然語(yǔ)言處理(NLP)應(yīng)用的重要資源，如問(wèn)題回答、網(wǎng)絡(luò)搜索和語(yǔ)義分析等。知識(shí)表示，特別是知識(shí)嵌入，是知識(shí)利用的基礎(chǔ)步驟。知識(shí)圖譜的嵌入是為了學(xué)習(xí)一種連續(xù)的映射，將一個(gè)結(jié)構(gòu)化的知識(shí)圖譜的實(shí)體和關(guān)系嵌入到一個(gè)向量空間中。知識(shí)圖譜嵌入有多種應(yīng)用，如關(guān)系提取、問(wèn)題回答、規(guī)范化、推薦系統(tǒng)、對(duì)話系統(tǒng)等。

知識(shí)圖譜是事實(shí)的結(jié)構(gòu)化的表示，其在知識(shí)圖可以表示成三元組的集合(h，r，t)，其中r表示頭實(shí)體h和尾實(shí)體t之間的關(guān)系。大多數(shù)知識(shí)圖譜,如Freebase[1]，WordNet[2]，YAGO[3]等，已經(jīng)包含數(shù)百萬(wàn)甚至數(shù)十億的三元組，但仍遠(yuǎn)未完成，因?yàn)樾屡d出現(xiàn)的新知識(shí)。因此，該問(wèn)題產(chǎn)生了知識(shí)庫(kù)完成、實(shí)體識(shí)別和鏈接預(yù)測(cè)等任務(wù)。

知識(shí)圖譜補(bǔ)全(Knowledge Graph Completion,KGC)任務(wù)旨在減少知識(shí)圖譜中的知識(shí)缺失，提高知識(shí)圖譜中知識(shí)的完備程度。因此，若能將知識(shí)圖譜中的這些知識(shí)補(bǔ)全，對(duì)于提升搜索引擎的語(yǔ)義搜索精度、完善知識(shí)問(wèn)答和智能推薦系統(tǒng)的服務(wù)質(zhì)量具有重要的價(jià)值。近年來(lái)，各種不同的知識(shí)圖譜補(bǔ)全方法被提出，這些方法大致分為以下三類(lèi)，即基于距離的模型，基于語(yǔ)義匹配的模型和基于卷積神經(jīng)網(wǎng)絡(luò)的模型。

(1)基于距離的模型

這些方法的主要思想是先將實(shí)體和關(guān)系映射到同一空間，之后將關(guān)系視為從頭實(shí)體到尾實(shí)體的轉(zhuǎn)換。

TransH在2014年提出,該方法將實(shí)體映射到特定關(guān)系的超平面上，來(lái)滿足不同關(guān)系下的實(shí)體表示，再進(jìn)行轉(zhuǎn)換操作。TransR于2016年提出，該方法針對(duì)每個(gè)關(guān)系學(xué)習(xí)一個(gè)映射矩陣，然后把實(shí)體映射到特定關(guān)系空間中。

(2)基于語(yǔ)義匹配的模型

基于語(yǔ)義匹配的模型提出更復(fù)雜的操作，尋找實(shí)體和關(guān)系之間的語(yǔ)義聯(lián)系。

DistMult在2014年提出，該方法使用使用加權(quán)元素點(diǎn)積來(lái)定義分?jǐn)?shù)函數(shù)。打分函數(shù)定義為f_r(h,t)＝∑h_kr_kt_k。ComplEx在2016年提出，ComplEx是DistMult的一個(gè)改進(jìn)版本，它利用復(fù)數(shù)嵌入和Hermitian點(diǎn)積來(lái)解決反對(duì)稱(chēng)問(wèn)題，而它在反對(duì)稱(chēng)關(guān)系上的性能比TransE或DistMult差。ATTH在2020年提出，該方法利用雙曲線嵌入方法來(lái)捕獲層次和邏輯模式。打分函數(shù)可以被定義為：其中Q(h,r)是雙曲注意力機(jī)制。

(3)基于卷積神經(jīng)網(wǎng)絡(luò)的模型

基于卷積的模型，該模型提出利用卷積來(lái)提升模型的表達(dá)能力，CNN的多層結(jié)構(gòu)具有表達(dá)能力強(qiáng)、參數(shù)效率高的優(yōu)點(diǎn)。