[發明專利]基于因果干預的知識表示學習模型置信度測量方法

在審

• 申請號: 202110952561.1
• 申請日: 2021-08-19
• 公開（公告）號: CN113656597A
• 公開（公告）日: 2021-11-16
• 發明（設計）人: 劉宇;王愷;單世民;趙哲煥;徐秀娟
• 申請（專利權）人: 大連理工大學
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06F16/31;G06N5/04;G06N20/00
• 代理公司: 遼寧鴻文知識產權代理有限公司 21102
• 代理人: 楊植

一種基于因果干預的知識表示學習模型置信度測量方法。該方法主動干預輸入實體的向量維度數值，構造輸入實體向量的多個鄰域干預向量,從而有效地估計每個預測三元組的置信度。通過將原始實體向量和鄰域干預向量分別輸入到知識表示學習模型中，得到模型輸出的預測結果。進而計算鄰域干預向量的預測結果一致性系數，通過評估干預前后預測結果的穩健性來推斷預測置信度。在大規模知識圖譜構建和維護工程中，該方法可以大幅度降低知識三元組判別工作中的人工成本，有效提高知識圖譜補全和更新的精度和效率，使得知識圖譜可以保持高質量知識表征，在人工智能、學術分析、社交網絡等多個領域具有較高的應用前景。

技術領域

本發明屬于知識表示技術領域，適用于通用領域知識圖譜的知識表示學習模型置信度評估，特別涉及在大規模知識圖譜自動補全中預測出的“實體－關系－實體”三元組的置信度評估，具體為基于因果干預的知識表示學習模型置信度測量方法。

背景技術

知識圖譜以(頭實體、關系、尾實體)的形式記錄真實世界的事實三元組，已廣泛應用于各種人工智能領域。為了實現知識圖譜自動補全，基于知識表示學習的鏈接預測最近引起了廣泛關注。如附圖1所示，給定一個實體和一個關系(稱之為實體－關系查詢項)，一個典型的知識表示學習模型會給所有候選實體進行評分，并選擇一個得分最高的實體來組成一個新的三元組。預測出的新三元組會被添加到已有知識圖譜中，實現對知識圖譜的更新和補全。

然而，現有的知識表示學習模型由于預測準確率不夠，且難以評估每個預測三元組的置信度，導致新預測出的三元組數據包含大量的錯誤結果。目前的知識表示學習模型對參數的要求越來越高，但準確率的提高幅度很小。其次，三元組得分不能直接判斷新預測的三元組是否可信。雖然預測的三元組得分能在候選集中獲得最好的分數，但該分數只能表示候選項之間的相對順序，不能代表三元組為真的概率。因此，在不進行人工篩選的情況下，預測結果中存在大量錯誤的三元組，將嚴重影響知識圖譜的質量。

發明內容

為了克服上述現有技術的缺點，本發明的目的在于提出了一種新的基于因果干預的置信度測量方法，稱為鄰域干預一致性(NIC)。與以往只針對最優分數的方法不同，我們通過驗證預測結果的魯棒性來評估置信分數。利用因果推理分析，我們提出了一個主動干預知識表示學習模型預測過程的算法。具體地說，給定預訓練的知識表示學習模型和三元組測試樣本，該方法首先主動干預輸入實體的向量維度數值，構造輸入實體向量的多個鄰域干預向量。然后將原始實體向量和鄰域干預向量分別輸入到知識表示學習模型中得到模型輸出的預測結果。最后，通過計算鄰域干預向量在知識表示學習模型的預測結果的一致性系數，評估干預前后預測結果的穩健性來推斷預測置信度。

本發明的基于因果干預的知識表示學習模型置信度測量方法，步驟如下：

(1)構造鄰域干預向量集。

給定預測三元組查詢集和訓練得到的知識表示模型，本方法首先對每個預測三元組的已知實體，構造鄰域干預向量集。通過讀取知識表示模型的訓練參數矩陣，可以得到已知實體的分布式表示向量。進一步地，通過對實體參數矩陣的數值統計，可以得到實體干預數值。給定已知實體向量和實體干預數值，本方法通過依次用干預數值替換已知實體向量每個維度的數值，構造出多個互不相同的鄰域干預向量。這些向量共同構成該預測三元組的鄰域干預向量集。

(2)生成鄰域干預序列。

首先以已知實體向量和實體集全集作為輸入，執行知識表示模型的預測算法，得到候選三元組的得分序列。通過提取得分序列中的前K項，可以得到K個候選實體和他們的得分。進而將每個鄰域干預向量和K個候選實體作為輸入，執行知識表示模型的預測算法，得到每個維度干預后的模型預測結果。這些干預后輸出的得分序列，用于下一步計算置信度分數。

(3)計算序列一致性得分。