[發明專利]一種基于聯邦學習的知識圖譜表示方法

在審

• 申請號: 202111134706.3
• 申請日: 2021-09-27
• 公開（公告）號: CN113886598A
• 公開（公告）日: 2022-01-04
• 發明（設計）人: 張文;陳名楊;姚禎;陳華鈞
• 申請（專利權）人: 浙江大學
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06F16/35;G06F17/16;G06N20/00;G06Q30/02
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 曹兆霞

本發明公開了一種基于聯邦學習的知識圖譜表示學習方法，包括：首先建立了中央服務器和多個客戶端；中央服務器聚合來自不同客戶端的實體嵌入，并將聚合后的嵌入發送回每個客戶端；客戶端使用本地的三元組更新實體和關系嵌入，并將更新后的實體嵌入矩陣發送給中央服務器。此外，考慮到聯邦知識圖嵌入框架所學習的嵌入是對僅基于一個知識圖而沒有聯邦設置的訓練嵌入的補充，因此設置了知識圖譜融合步驟以融合使用和不使用聯邦設置學習的嵌入。該方法能夠同時利用多個知識圖譜相互補充并且保證了數據的隱私性，在知識圖譜補全任務中具有很好的實用價值。

技術領域

本發明屬于知識圖譜表示技術領域，具體涉及一種基于聯邦學習的知識圖譜表示學習方法。

背景技術

知識圖譜(KG)是由頭實體(head entity)和尾實體(tail entity)通過關系(relation)以三元組的形式連接的數據集。三元組以[頭實體，關系，尾實體](簡稱為(h，r，t))的形式表示，目前有許多大規模的知識圖譜例如FreeBase，YAGO和WordNet被逐漸構建起來，它們為許多重要的AI任務，例如語義搜索，推薦和問答等提供了有效的基礎。知識圖譜中往往包含了大量信息，我們認為其中兩種較為重要的信息是結構信息和文本信息。結構信息指實體通過關系與其他實體存在的某種聯系，一個實體的結構信息往往可通過其鄰居三元組體現；文本信息指知識圖譜中實體和關系的文本描述的語義信息，通常由實體和關系的名稱、實體和關系的額外文字說明等體現。但是許多的知識圖譜仍是不完整的，因此在現有的三元組上預測缺失的三元組，即知識圖譜補全(KGC)任務具有重要意義。

在實際的知識圖譜應用中，同一個實體涉及不同的知識圖譜是很常見的，這種情況下成為多源知識圖譜，多元知識圖譜可以進行知識補充，在鏈路預測等問題中取得更好的性能，但是知識圖譜往往涉及一些敏感領域(比如金融或者醫療領域)或受一些法規的約束。因此如何在保護數據隱私的同時，利用不同的相關知識圖的互補能力，是實際應用中亟待解決的問題。

公開號為CN112200321A的專利申請公開了一種基于知識聯邦和圖網絡的推理方法，包括：各參與方服務器對本地的實體數據構建知識圖譜；根據知識圖譜的初始節點特征及結構信息和預先訓練的圖神經網絡模型，生成低維知識向量；將各低維知識向量發送至可信第三方服務器；可信第三方服務器對接收到的低維知識向量利用預先訓練的融合模型進行融合，得到融合后的特征表示；針對知識推理請求，索引融合后的特征表示進行推理，得到推理結果。

公開號為CN111767411A的專利申請公開了一種知識圖譜表示學習優化方法，從本地知識圖譜數據集中確定訓練樣本集；基于所述訓練樣本集聯合各所述其他數據端對本地知識圖譜表示學習模型進行聯邦學習，得到目標知識圖譜表示學習模型，其中，各所述其他數據端基于各自本地知識圖譜數據集中確定的訓練樣本集參與聯邦學習。

以上兩個技術方案，均采用聯邦學習對知識圖譜進行學習，但是并沒有考慮未參與聯邦學習和參與聯邦學習得到實體嵌入表示的人融合問題，導致得到的實體嵌入表示不準確。

發明內容

鑒于上述，本發明提供了一種基于聯邦學習的知識圖譜表示學習方法，通過聯邦學習的方式在獲得全局實體嵌入表示的同時進行了數據隱私保護，每個客戶端對參與聯邦學習和未參與聯邦學習的實體嵌入表示進行融合，進一步提升實體嵌入表示的準確性。

本發明提供的技術方案為：

一種基于聯邦學習的知識圖譜表示學習方法，實現所述方法的系統包括若干個客戶端、與每個客戶端分別通信的中央服務器，每個客戶端具有本地知識圖譜，所述方法包括以下步驟：

(1)中央服務器維護所有知識圖譜的實體列表，為每個客戶端定義置換矩陣和存在向量，初始化實體嵌入矩陣，并依據置換矩陣對實體嵌入矩陣進行篩選以確定每個客戶端對應的實體嵌入矩陣并下發至客戶端；