[發(fā)明專利]一種基于三元交互的知識圖譜表示學(xué)習(xí)方法

有效

• 申請?zhí)枺?/td>: 201910387736.1
• 申請日: 2019-05-10
• 公開（公告）號: CN111914094B
• 公開（公告）日: 2023-09-26
• 發(fā)明（設(shè)計）人: 孟小峰;張祎
• 申請（專利權(quán)）人: 中國人民大學(xué)
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06F40/295;G06F40/30
• 代理公司: 北京紀(jì)凱知識產(chǎn)權(quán)代理有限公司 11245
• 代理人: 孫楠

1.一種基于三元交互的知識圖譜表示學(xué)習(xí)方法，其特征在于包括以下步驟：

1)在知識圖譜中，以三元組為基本單位，對頭實(shí)體、關(guān)系和尾實(shí)體三者本身及其之間的交互進(jìn)行建模，得到InterTris模型；

所述步驟1)中，在知識圖譜中，以三元組為基本單位，對頭實(shí)體、關(guān)系和尾實(shí)體三者本身及其之間的交互進(jìn)行建模，得到InterTris模型的方法，包括以下步驟：

1.1)為三元組中頭實(shí)體、關(guān)系和尾實(shí)體分別構(gòu)建對應(yīng)的語義向量h、r和t；

1.2)構(gòu)建映射向量，使用映射向量h_p、r_p和t_p分別表示頭實(shí)體、關(guān)系和尾實(shí)體對另外兩個元素的影響；

1.3)基于廣義內(nèi)積，對三元組進(jìn)行交互過程建模，得到映射后的頭實(shí)體h_⊥、關(guān)系r_⊥和尾實(shí)體t_⊥；

1.4)基于轉(zhuǎn)換思想，對映射后的頭實(shí)體h_⊥、關(guān)系r_⊥和尾實(shí)體t_⊥進(jìn)行轉(zhuǎn)換操作，得到InterTris模型；

所述步驟1.4)中，所述InterTris模型為：

f(h,r,t)＝h_⊥+r_⊥-t_⊥，

式中，h_⊥、r_⊥和t_⊥分別為映射后的頭實(shí)體、關(guān)系和尾實(shí)體，其中，h_⊥＝h,r_p,t_p，,,表示廣義向量內(nèi)積，r_p和t_p分別表示關(guān)系和尾實(shí)體對頭實(shí)體的影響；同理，映射后的關(guān)系為r_⊥＝h_p,r,t_p和映射后的尾實(shí)體為t_⊥＝h_p,r_p,t；

2)對構(gòu)建的InterTris模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的InterTris模型；

3)利用得到的InterTris模型，實(shí)現(xiàn)知識圖譜的數(shù)值化表示,與機(jī)器學(xué)習(xí)技術(shù)相結(jié)合，用于搜索引擎、用戶畫像、科學(xué)研究和知識問答；

所述步驟2)中，對構(gòu)建的InterTris模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的InterTris模型的方法，包括以下步驟：

2.1)確定輸入?yún)?shù)，包括訓(xùn)練數(shù)據(jù)集S；驗(yàn)證數(shù)據(jù)集V；頭實(shí)體集合H；關(guān)系集合R；尾實(shí)體集合T；衰減參數(shù)offset；頭實(shí)體、關(guān)系和尾實(shí)體的語義向量和映射向量，這里假設(shè)所有語義向量和映射向量的維度均為n；最大損失函數(shù)值max；

2.2)對輸入的所有頭實(shí)體、關(guān)系和尾實(shí)體的語義向量和映射向量進(jìn)行隨機(jī)初始化；

2.3)根據(jù)損失函數(shù)對初始化后的頭實(shí)體、關(guān)系和尾實(shí)體的語義向量和映射向量進(jìn)行更新，直到滿足預(yù)設(shè)閾值為止，得到訓(xùn)練好的InterTris模型；

所述步驟2.3)中，根據(jù)損失函數(shù)對初始化后的頭實(shí)體、關(guān)系和尾實(shí)體的語義向量和映射向量進(jìn)行更新的方法，包括以下步驟：

2.3.1)從訓(xùn)練數(shù)據(jù)集S中隨機(jī)抽樣得到對應(yīng)的mini-batch數(shù)據(jù)集作為正例集合Δ＝{h,r,t}，基于bern采樣方法得到相應(yīng)負(fù)例集合Δ′；同時，從驗(yàn)證數(shù)據(jù)集V中得到正例集合和負(fù)例集合；

2.3.2)將驗(yàn)證數(shù)據(jù)集V的正例集合和負(fù)例集合輸入損失函數(shù)，記錄當(dāng)前損失函數(shù)值，并與最大損失函數(shù)值max進(jìn)行比較：若損失函數(shù)值小于max，則進(jìn)入步驟2.3.3)，否則結(jié)束迭代，得到訓(xùn)練好的InterTris模型；

2.3.3)根據(jù)損失函數(shù)進(jìn)行梯度求解，并按照AdaGrad優(yōu)化方法，基于正例集合Δ和負(fù)例集合Δ′中的頭實(shí)體、關(guān)系和尾實(shí)體，完成語義向量和映射向量的更新，并對更新后的語義和映射向量進(jìn)行正則化，然后返回步驟2.3.2)。