[發(fā)明專利]一種基于聯(lián)邦學(xué)習(xí)的知識(shí)圖譜表示方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202111134706.3
• 申請(qǐng)日: 2021-09-27
• 公開（公告）號(hào): CN113886598A
• 公開（公告）日: 2022-01-04
• 發(fā)明（設(shè)計(jì)）人: 張文;陳名楊;姚禎;陳華鈞
• 申請(qǐng)（專利權(quán)）人: 浙江大學(xué)
• 主分類號(hào): G06F16/36
• 分類號(hào): G06F16/36;G06F16/35;G06F17/16;G06N20/00;G06Q30/02
• 代理公司: 杭州天勤知識(shí)產(chǎn)權(quán)代理有限公司 33224
• 代理人: 曹兆霞

1.一種基于聯(lián)邦學(xué)習(xí)的知識(shí)圖譜表示學(xué)習(xí)方法，其特征在于，實(shí)現(xiàn)所述方法的系統(tǒng)包括若干個(gè)客戶端、與每個(gè)客戶端分別通信的中央服務(wù)器，每個(gè)客戶端具有本地知識(shí)圖譜，所述方法包括以下步驟：

(1)中央服務(wù)器維護(hù)所有知識(shí)圖譜的實(shí)體列表，為每個(gè)客戶端定義置換矩陣和存在向量，初始化實(shí)體嵌入矩陣，并依據(jù)置換矩陣對(duì)實(shí)體嵌入矩陣進(jìn)行篩選以確定每個(gè)客戶端對(duì)應(yīng)的實(shí)體嵌入矩陣并下發(fā)至客戶端；

(2)循環(huán)聯(lián)邦學(xué)習(xí)過程：客戶端依據(jù)接收的實(shí)體嵌入矩陣，并采用本地知識(shí)圖譜進(jìn)行知識(shí)圖譜表示學(xué)習(xí)以更新實(shí)體嵌入矩陣，并將更新的實(shí)體嵌入矩陣上傳至中央服務(wù)器；中央服務(wù)器根據(jù)置換矩陣和存在向量對(duì)所有客戶端上傳的所有實(shí)體嵌入矩陣進(jìn)行聚合，依據(jù)置換矩陣對(duì)聚合后的實(shí)體嵌入矩陣進(jìn)行篩選以確定每個(gè)客戶端對(duì)應(yīng)的實(shí)體嵌入矩陣并下發(fā)至客戶端；

(3)每個(gè)客戶端對(duì)參與聯(lián)邦學(xué)習(xí)確定的實(shí)體嵌入矩陣與未參與聯(lián)邦學(xué)習(xí)確定的實(shí)體嵌入矩陣進(jìn)行融合，以確定最終實(shí)體嵌入矩陣。

2.根據(jù)權(quán)利要求1所述的基于聯(lián)邦學(xué)習(xí)的知識(shí)圖譜表示學(xué)習(xí)方法，其特征在于，中央服務(wù)器為每個(gè)客戶端定義的置換矩陣表示為其中，置換矩陣P^c中每個(gè)元素表示中央服務(wù)器的實(shí)體列表中的實(shí)體與客戶端的實(shí)體的對(duì)應(yīng)關(guān)系，表示實(shí)體列表中的第i個(gè)實(shí)體是第c個(gè)客戶端的第j個(gè)實(shí)體，表示實(shí)體列表中的第i個(gè)實(shí)體不是第c個(gè)客戶端的第j個(gè)實(shí)體，C表示客戶端的總個(gè)數(shù)，n表示實(shí)體列表中實(shí)體數(shù)量，n_c表示第c個(gè)客戶端的實(shí)體數(shù)量；

中央服務(wù)器為每個(gè)客戶端定義的存在向量表示為其中，向量表示V^c總每個(gè)元素V_i^c表示第c個(gè)客戶端存在的第i個(gè)實(shí)體的情況，V_i^c＝1表示第c個(gè)客戶端存在的第i個(gè)實(shí)體，V_i^c＝0表示第c個(gè)客戶端不存在的第i個(gè)實(shí)體。

3.根據(jù)權(quán)利要求1所述的基于聯(lián)邦學(xué)習(xí)的知識(shí)圖譜表示學(xué)習(xí)方法，其特征在于，采用以下公式，依據(jù)置換矩陣對(duì)實(shí)體嵌入矩陣進(jìn)行篩選以確定每個(gè)客戶端對(duì)應(yīng)的實(shí)體嵌入矩陣：

其中，E_t表示第t輪聯(lián)邦學(xué)習(xí)過程中央服務(wù)器聚合得到的實(shí)體嵌入矩陣，P^c表示置換矩陣，T表示轉(zhuǎn)置，表示第t輪聯(lián)邦學(xué)習(xí)過程中第c個(gè)客戶端對(duì)應(yīng)的實(shí)體嵌入矩陣，t＝0時(shí)，E₀表示中央服務(wù)器初始化的實(shí)體嵌入矩陣，表示第c個(gè)客戶端對(duì)應(yīng)的初始化的實(shí)體嵌入矩陣。

4.根據(jù)權(quán)利要求1所述的基于聯(lián)邦學(xué)習(xí)的知識(shí)圖譜表示學(xué)習(xí)方法，其特征在于，客戶端依據(jù)接收的實(shí)體嵌入矩陣，并采用本地知識(shí)圖譜進(jìn)行知識(shí)圖譜表示學(xué)習(xí)時(shí)，對(duì)于知識(shí)圖譜中由頭實(shí)體、關(guān)系、尾實(shí)體組成的每個(gè)三元組(h,r,t)，采用評(píng)分函數(shù)來構(gòu)建損失函數(shù)，利用損失函數(shù)訓(xùn)練嵌入模型，同時(shí)更新實(shí)體嵌入矩陣；

其中，損失函數(shù)為：

其中，L(h,r,t)為三元組(h,r,t)的損失函數(shù)，f_r(h,r,t)表示三元組(h,r,t)的評(píng)分函數(shù)，f_r(h,r,t’_i)表示三元組(h,r,t’_i)的評(píng)分函數(shù)，三元組(h,r,t’_i)表示對(duì)三元組(h,r,t)的尾實(shí)體t負(fù)采樣為第i個(gè)實(shí)體t’_i得到的三元組，m為負(fù)采樣個(gè)數(shù)，γ表示邊緣值，取值范圍為整個(gè)實(shí)數(shù)集，σ(·)表示sigmoid函數(shù)，p(h,r,t’_i)表示三元組(h,r,t’_i)的負(fù)采樣權(quán)重值。

5.根據(jù)權(quán)利要求4所述的基于聯(lián)邦學(xué)習(xí)的知識(shí)圖譜表示學(xué)習(xí)方法，其特征在于，嵌入模型采用TransE模型，對(duì)應(yīng)的評(píng)分函數(shù)f_r(h,r,t)＝-‖h+r-t‖；或嵌入模型采用DistMult模型，對(duì)應(yīng)的評(píng)分函數(shù)f_r(h,r,t)＝h^Tdiag(r)t；或嵌入模型采用ComplEx模型，對(duì)應(yīng)的評(píng)分函數(shù)或嵌入模型采用RotaE模型，對(duì)應(yīng)的評(píng)分函數(shù)其中，diag(·)表示對(duì)角矩陣，表示實(shí)體t的共軛復(fù)數(shù)，Re(·)表示取實(shí)部，表示元素相乘。