[發(fā)明專利]基于參數(shù)共享的網(wǎng)絡(luò)模型訓(xùn)練系統(tǒng)、方法、裝置和介質(zhì)

有效

• 申請?zhí)枺?/td>: 201910085848.1
• 申請日: 2019-01-29
• 公開（公告）號: CN109815344B
• 公開（公告）日: 2021-09-14
• 發(fā)明（設(shè)計）人: 朱佳;鄭澤濤
• 申請（專利權(quán)）人: 華南師范大學(xué);廣州鏈基智能科技有限公司
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06F21/62
• 代理公司: 廣州嘉權(quán)專利商標(biāo)事務(wù)所有限公司 44205
• 代理人: 胡輝

1.一種基于參數(shù)共享的網(wǎng)絡(luò)模型訓(xùn)練系統(tǒng)，其特征在于，包括：

第一參數(shù)模塊，用于獲取第一本地端對網(wǎng)絡(luò)模型進行訓(xùn)練時所形成的第一模型參數(shù)，并將所述第一模型參數(shù)同步到區(qū)塊鏈；

第二參數(shù)模塊，用于從區(qū)塊鏈中獲取第二本地端請求的第二模型參數(shù)并同步到第二本地端；所述第二模型參數(shù)用于供第二本地端對網(wǎng)絡(luò)模型進行訓(xùn)練；

令牌消耗模塊，所述令牌消耗模塊用于在第二模型參數(shù)同步到第二本地端之后，從第二本地端扣減令牌；

令牌分配模塊，所述令牌分配模塊用于在令牌消耗模塊從第二本地端扣減令牌之后，將令牌消耗模塊扣減所得的令牌分配至各待分配本地端；所述待分配本地端是指被用作第二模型參數(shù)的部分第一模型參數(shù)所對應(yīng)的第一本地端；

所述令牌分配模塊包括：

質(zhì)量分值子模塊，用于計算各待分配本地端同步到區(qū)塊鏈的第一模型參數(shù)的質(zhì)量分值；所述第一模型參數(shù)的質(zhì)量分值是根據(jù)第一模型參數(shù)的冗余度計算的；當(dāng)所述網(wǎng)絡(luò)模型為知識圖譜，所述第一模型參數(shù)的質(zhì)量分值的計算公式為：Q＝K₁*(1-R)+K₂*V+K₃*URI_(data)，式中，Q為所述第一模型參數(shù)的質(zhì)量分值，K₁、K₂和K₃為系數(shù)，R為第一模型參數(shù)的冗余度，V為知識圖譜中的實體的平均屬性數(shù)，URI_(data)為知識圖譜中統(tǒng)一資源標(biāo)識符的可訪問性，DSPO_(data)為所述知識圖譜中的唯一三元組數(shù)，SPO_(data)為所述知識圖譜中的三元組數(shù)；

比例分配子模塊，用于以各待分配本地端對應(yīng)的質(zhì)量分值作為分配比例，將令牌消耗模塊扣減所得的令牌按比例分配至各待分配本地端。

2.根據(jù)權(quán)利要求1所述的一種基于參數(shù)共享的網(wǎng)絡(luò)模型訓(xùn)練系統(tǒng)，其特征在于，所述第一參數(shù)模塊還用于在將獲取到的第一模型參數(shù)同步到區(qū)塊鏈之前，對第一模型參數(shù)進行剪枝處理。

3.根據(jù)權(quán)利要求2所述的一種基于參數(shù)共享的網(wǎng)絡(luò)模型訓(xùn)練系統(tǒng)，其特征在于，所述第一參數(shù)模塊還用于在將獲取到的第一模型參數(shù)同步到區(qū)塊鏈之后，對經(jīng)過剪枝處理的第一模型參數(shù)進行壓縮處理。

4.一種基于參數(shù)共享的網(wǎng)絡(luò)模型訓(xùn)練方法，其特征在于，包括以下步驟：

當(dāng)接收到第一本地端的請求時，獲取第一本地端對網(wǎng)絡(luò)模型進行訓(xùn)練時所形成的第一模型參數(shù)，并將所述第一模型參數(shù)同步到區(qū)塊鏈；

當(dāng)接收到第二本地端的請求時，從區(qū)塊鏈中獲取第二本地端請求的第二模型參數(shù)并同步到第二本地端；所述第二模型參數(shù)用于供第二本地端對網(wǎng)絡(luò)模型進行訓(xùn)練；

在第二模型參數(shù)同步到第二本地端之后，從第二本地端扣減令牌；

在令牌消耗模塊從第二本地端扣減令牌之后，計算各待分配本地端同步到區(qū)塊鏈的第一模型參數(shù)的質(zhì)量分值，以各待分配本地端對應(yīng)的質(zhì)量分值作為分配比例，將令牌消耗模塊扣減所得的令牌按比例分配至各待分配本地端；所述待分配本地端是指被用作第二模型參數(shù)的部分第一模型參數(shù)所對應(yīng)的第一本地端；所述第一模型參數(shù)的質(zhì)量分值是根據(jù)第一模型參數(shù)的冗余度計算的；當(dāng)所述網(wǎng)絡(luò)模型為知識圖譜，所述第一模型參數(shù)的質(zhì)量分值的計算公式為：Q＝K₁*(1-R)+K₂*V+K₃*URI_(data)，式中，Q為所述第一模型參數(shù)的質(zhì)量分值，K₁、K₂和K₃為系數(shù)，R為第一模型參數(shù)的冗余度，V為知識圖譜中的實體的平均屬性數(shù)，URI_(data)為知識圖譜中統(tǒng)一資源標(biāo)識符的可訪問性，DSPO_(data)為所述知識圖譜中的唯一三元組數(shù)，SPO_(data)為所述知識圖譜中的三元組數(shù)。

5.一種基于參數(shù)共享的網(wǎng)絡(luò)模型訓(xùn)練裝置，其特征在于，包括存儲器和處理器，所述存儲器用于存儲至少一個程序，所述處理器用于加載所述至少一個程序以執(zhí)行權(quán)利要求4所述方法。

6.一種介質(zhì)，其中存儲有處理器可執(zhí)行的指令，其特征在于，所述處理器可執(zhí)行的指令在由處理器執(zhí)行時用于執(zhí)行如權(quán)利要求4所述方法。