[發(fā)明專利]基于無監(jiān)督類型約束的上下文感知知識補(bǔ)全方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202111158961.1
• 申請日: 2021-09-30
• 公開（公告）號: CN114020923A
• 公開（公告）日: 2022-02-08
• 發(fā)明（設(shè)計）人: 汪璟玢;賴曉連
• 申請（專利權(quán)）人: 福州大學(xué)
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06F40/30;G06N3/04;G06N3/08
• 代理公司: 福州元創(chuàng)專利商標(biāo)代理有限公司 35100
• 代理人: 張燈燦;蔡學(xué)俊

本發(fā)明涉及一種基于無監(jiān)督類型約束的上下文感知知識補(bǔ)全方法及系統(tǒng)，該方法構(gòu)建基于無監(jiān)督類型約束的上下文感知模型，首先，通過設(shè)定時間粒度，對數(shù)據(jù)集預(yù)處理，以使數(shù)據(jù)在時間分布上均衡；其次，在四元組結(jié)構(gòu)模塊中，通過鄰居編碼器聚合實體上下文信息，增強(qiáng)實體的嵌入表示；在四元組類型模塊中，將四元組嵌入到實數(shù)空間，四元組類型模塊在無監(jiān)督環(huán)境下獲得類型約束的實體表示，通過實體潛在類型信息進(jìn)一步約束實體嵌入表示，提高模型補(bǔ)全能力；最后，將四元組結(jié)構(gòu)模塊的得分與四元組類型模塊的得分按照設(shè)定的權(quán)重聚合，獲得四元組的最終得分。該方法及系統(tǒng)提高了實體嵌入的質(zhì)量，提升了模型在知識補(bǔ)全任務(wù)上的性能。

技術(shù)領(lǐng)域

本發(fā)明屬于知識圖譜領(lǐng)域，具體涉及一種基于無監(jiān)督類型約束的上下文感知知識補(bǔ) 全方法及系統(tǒng)。

背景技術(shù)

知識表示學(xué)習(xí)是一種有效且可靠的知識補(bǔ)全技術(shù)，這幾年來，有關(guān)知識圖譜的表示 學(xué)習(xí)方法層出不窮。ComplEx將三元組嵌入到復(fù)數(shù)空間中，能夠建模對稱/反對稱、自 反兩種關(guān)系模型，在靜態(tài)知識圖譜補(bǔ)全任務(wù)上取得了一定的成效。AutoETER將四元組 嵌入到實數(shù)空間中，自動學(xué)習(xí)實體的類型嵌入，豐富了實體的一般特征，此外，它還可 以推斷和建模所有對稱/反對稱、自反和組合三種關(guān)系模式，以及復(fù)雜的一對多、多對一 和多對多關(guān)系。CompGCN利用GCN聚合實體的鄰居信息，增強(qiáng)了實體的嵌入表示， 該模型還通過設(shè)置基向量解決了過度參數(shù)化的問題。上述模型都建立在靜態(tài)知識圖譜上， 在靜態(tài)知識圖譜補(bǔ)全任務(wù)上表現(xiàn)良好，但由于沒有考慮時間信息，在時間知識圖譜補(bǔ)全 任務(wù)上性能不佳。

近年來，許多工作努力將靜態(tài)知識圖譜補(bǔ)全模型擴(kuò)展到時間知識圖譜中。比如，HyTE為每個時間戳定義了一個時間超平面，并將實體和關(guān)系投影到時間超平面中，然 后對投影的嵌入應(yīng)用TransE以獲得四元組的得分。等人將時間戳劃 分為token序列，與關(guān)系一并輸入到LSTM中，以獲得不同時間下的關(guān)系表示，獲得的 關(guān)系表示可以應(yīng)用于多個模型中，Jain等人將該方法應(yīng)用于ComplEx中，得到了 TA-ComplEx模型。受歷時詞的啟發(fā)，Goel等人將時間信息整合到實體嵌入中，提出了 DE-SimplE模型。DE-SimplE認(rèn)為實體嵌入中可能有一些隨時間變化的特性和一些保持 固定的特性，因此設(shè)置了用以控制時間特征百分比的超參數(shù)γ∈[0,1]，在時間知識圖譜 補(bǔ)全任務(wù)中取得了顯著的效果。TeRo將實體嵌入的時間演化定義為實體在復(fù)數(shù)空間中 從初始時間到當(dāng)前時間的旋轉(zhuǎn)，模型結(jié)合了RotatE的優(yōu)勢，可以建模實體間的復(fù)雜關(guān)系 (如自反關(guān)系)。此外，TeRo采用時間粒度合并部分時間戳，可以緩解數(shù)據(jù)集在時間 上分布不均衡問題。受四階張量分解啟發(fā)，Lacroix等人將四元組嵌入到復(fù)數(shù)空間中， 提出了TNT-ComplEx模型，該模型通過四元組的內(nèi)積操作得到四元組的得分，得分函 數(shù)定義為Jain等人提出的TIMEPLEX根據(jù)時間的特有性質(zhì)，定 義了三種類型的時間約束：關(guān)系的重復(fù)性、關(guān)系間的順序、關(guān)系間的時間間隔。其中， 關(guān)系的重復(fù)性即許多關(guān)系對于特定實體不會重復(fù)出現(xiàn)(例如，一個人只出生一次)，有 些關(guān)系在固定周期內(nèi)重復(fù)(例如，奧運會每四年出現(xiàn)一次)。關(guān)系間的順序是指對于一 個給定的實體，一個關(guān)系先于另一個關(guān)系。比如，PersonBornYear應(yīng)在給定實體的 PersonDiedYear之前。關(guān)系間的時間間隔是指對于一個給定的實體，兩個關(guān)系間的時間 差值分布在一個平均值周圍，例如，PersonDiedYear減去PersonBornYear的平均值約為 70。TIMEPLEX在沒有額外時間約束輸入的情況下，使用高斯分布建模這三種時間約束， 在時間知識圖譜補(bǔ)全任務(wù)中表現(xiàn)出了良好的性能。上述時間知識圖譜補(bǔ)全模型，雖然在 時間知識圖譜補(bǔ)全任務(wù)中取得了一定的成效，但都忽略了實體隱含的潛在信息，如類型 信息和鄰居信息，在時間知識圖譜補(bǔ)全任務(wù)中具有一定的局限性。