[發明專利]一種基于規則推理與GRU神經網絡推理的混合推理方法

有效

• 申請號: 202210597265.9
• 申請日: 2022-05-30
• 公開（公告）號: CN114925190B
• 公開（公告）日: 2023-08-04
• 發明（設計）人: 楊文清;胡江溢;張楠;商瑩楠;滕家雨;劉愛華;王光林;潘健;蘇婧儀;張文強;朱佳
• 申請（專利權）人: 南瑞集團有限公司;國電南瑞科技股份有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/36;G06N3/0442;G06N3/08;G06N5/02;G06N5/04
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 張弛

本發明公開了一種基于規則推理與GRU神經網絡推理的混合推理方法，包括步驟：生成知識圖譜并給定的問題查詢q，利用GRU網絡生成邏輯規則；基于生成的邏輯規則，構建馬爾可夫邏輯網絡進行知識圖譜推理，對邏輯規則進行價值打分；將生成的高質量邏輯規則給到GRU網絡用于優化網絡參數；利用價值函數計算推理結果的得分并輸出可能的結果，量化表示推理結果的可信度。本發明通過對價值函數的設計，結合規則推理和GRU神經網絡推理，能夠快速有效地找到知識推理的結果，并計算推理結果的可信度。

技術領域

本發明涉及信息與網絡的技術領域，具體是涉及一種基于規則推理與GRU神經網絡推理的混合推理方法。

背景技術

知識圖譜(Knowledge?Graph)本質是一種語義網絡，通常用(頭實體h，關系r，尾實體t)這樣的三元組來表達事物屬性以及事物之間的語義關系。自知識圖譜概念以來，知識圖譜已經為智能問答、對話生成、個性化推薦等多個NLP任務領域提供了有力支撐。知識圖譜推理是指利用現有知識圖譜中的知識三元組，得到新的實體間的關系或者實體的屬性三元組，主要用于知識圖譜中的知識補全、知識糾錯和知識問答。知識圖譜能夠從海量數據中挖掘、組織和有效管理知識，提高信息服務質量，為用戶提供更智能的服務，所有這些方面都依賴于知識推理對知識圖譜的支持。知識圖譜上的關系推理是知識工程和人工智能領域的一個重要研究問題。

目前已經有多種從知識圖譜中學習邏輯規則的方法。大多數傳統方法，例如路徑排序算法、馬爾科夫邏輯網絡，通過枚舉圖上的關系路徑作為候選邏輯規則，進而根據算法學習每個候選邏輯規則的權重評估規則質量。最近也有研究者提出了一些基于神經邏輯編程的方法，以可微的方式同時學習邏輯規則及其權重。雖然這些方法在經驗上對預測是有效的，但它們的搜索空間是指數級的，因此很難識別高質量的邏輯規則。此外，還有一些研究將邏輯規則學習問題描述為一個連續的決策過程，并使用強化學習來搜索邏輯規則，這大大降低了搜索的復雜性。然而，由于學習過程中的動作空間大、獎勵少，這些方法的邏輯規則提取效果仍不盡人意。

發明內容

發明目的：針對以上缺點，本發明提供一種基于規則推理與GRU神經網絡推理的混合推理方法，能夠生成高質量的邏輯規則，快速有效地找到知識推理的結果，并計算推理結果的可信度。

技術方案：為解決上述問題，本發明提供一種基于規則推理與GRU神經網絡推理的混合推理方法，包括以下步驟：

(1)從知識數據庫加載數據生成知識圖譜，設定一個查詢q(h,r,？)，h為頭實體，r為規則，？為待查詢結果；利用GRU網絡根據查詢q(h,r,？)生成規則集合R；(2)設定候選答案，根據生成規則集合R在知識圖譜上構建馬爾可夫邏輯網絡進行知識圖譜推理，獲得規則集合R中每個規則對候選答案的貢獻進行評價打分；

(3)取分數最高的K個規則組成的最大化規則集合R_K，通過最大化規則集合R_K的對數似然來更新GRU網絡參數θ；

(4)重復步驟(1)至步驟(3)N′次得到訓練好的GRU網絡；利用訓練好的GRU網絡再次根據給定的查詢q(h,r,？)生成規則集合，并將新生成的規則集合在知識圖譜上構建馬爾可夫邏輯網絡進行知識圖譜推理；利用價值函數計算每個規則價值得分，選取得分最高的規則推理的實體作為推理結果輸出。

進一步的，步驟(1)中利用GRU網絡根據查詢q(h,r,？)生成規則集合R具體為：

(1.1)設定一組規則rule＝[r_q,r₁,r₂,……r_l,r_e]用于推理，r_q表示查詢關系，r_e表示規則結束，r_i表示規則體，i∈(1……l)；

(1.2)利用GRU網絡根據當前給定的規則生成下一組規則；所述GRU網絡定義公式如下：