[發明專利]基于參數共享的網絡模型訓練系統、方法、裝置和介質

有效

• 申請號: 201910085848.1
• 申請日: 2019-01-29
• 公開（公告）號: CN109815344B
• 公開（公告）日: 2021-09-14
• 發明（設計）人: 朱佳;鄭澤濤
• 申請（專利權）人: 華南師范大學;廣州鏈基智能科技有限公司
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06F21/62
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 胡輝

本發明公開了一種基于參數共享的網絡模型訓練系統、方法、裝置和介質。所述系統包括第一參數模塊和第二參數模塊，所述第一參數模塊用于獲取第一本地端對網絡模型進行訓練時所形成的第一模型參數，并將所述第一模型參數同步到區塊鏈；所述第二參數模塊用于從區塊鏈中獲取第二本地端請求的第二模型參數并同步到第二本地端；所述第二模型參數用于供第二本地端對網絡模型進行訓練。本發明通過區塊鏈來實現模型參數的共享，有利于網絡模型的大規模應用和相互學習；由于各本地端之間無需進行網絡模型訓練集和測試集的交換，從而在高效傳播網絡模型參數的基礎上避免敏感數據的泄漏。本發明廣泛應用于人工智能技術領域。

技術領域

本發明涉及人工智能技術領域，尤其是一種基于參數共享的網絡模型訓練系統、方法、裝置和介質。

背景技術

知識圖譜和神經網絡等網絡模型是重要的人工智能工具，具有廣泛的用途。例如知識圖譜可以用于網絡搜索、鏈接預測、推薦和自然語言處理等用途。這些人工智能工具需要經過訓練和測試等步驟后才具有相應的性能，而訓練得到的模型參數表示網絡模型的形態，模型參數可以通過存儲而固定下來并用于下次使用。

根據網絡模型的原理，網絡模型的性能與其模型參數有關，而模型參數是由訓練和測試網絡模型時所用的訓練集和測試集決定的。在一些特殊領域，所涉及的訓練集和測試集具有一定的隱私性和機密性，例如醫療領域所用的訓練集和測試集一般是醫院的病人數據，金融領域所用的訓練集和測試集一般是保險公司的保險數據，這些數據難以公開交流使用，不利于網絡模型的大規模應用。

發明內容

為了解決上述技術問題，本發明的目在于提供一種基于參數共享的網絡模型訓練系統、方法、裝置和介質。

本發明包括一種基于參數共享的網絡模型訓練系統，包括：

第一參數模塊，用于獲取第一本地端對網絡模型進行訓練時所形成的第一模型參數，并將所述第一模型參數同步到區塊鏈；

第二參數模塊，用于從區塊鏈中獲取第二本地端請求的第二模型參數并同步到第二本地端；所述第二模型參數用于供第二本地端對網絡模型進行訓練。

進一步地，所述第一參數模塊還用于在將獲取到的第一模型參數同步到區塊鏈之前，對第一模型參數進行剪枝處理。

進一步地，所述第一參數模塊還用于在將獲取到的第一模型參數同步到區塊鏈之后，對經過剪枝處理的第一模型參數進行壓縮處理。

進一步地，還包括令牌消耗模塊，所述令牌消耗模塊用于在第二模型參數同步到第二本地端之后，從第二本地端扣減令牌。

進一步地，還包括令牌分配模塊，所述令牌分配模塊用于在令牌消耗模塊從第二本地端扣減令牌之后，將令牌消耗模塊扣減所得的令牌分配至各待分配本地端；所述待分配本地端是指被用作第二模型參數的部分第一模型參數所對應的第一本地端。

進一步地，所述令牌分配模塊包括：

質量分值子模塊，用于計算各待分配本地端同步到區塊鏈的第一模型參數的質量分值；

比例分配子模塊，用于以各待分配本地端對應的質量分值作為分配比例，將令牌消耗模塊扣減所得的令牌按比例分配至各待分配本地端。

進一步地，所述第一模型參數的質量分值是根據第一模型參數的冗余度計算的。

另一方面，本發明實施例還包括一種基于參數共享的網絡模型訓練方法，包括以下步驟：

當接收到第一本地端的請求時，獲取第一本地端對網絡模型進行訓練時所形成的第一模型參數，并將所述第一模型參數同步到區塊鏈；

當接收到第二本地端的請求時，從區塊鏈中獲取第二本地端請求的第二模型參數并同步到第二本地端；所述第二模型參數用于供第二本地端對網絡模型進行訓練。