[發明專利]一種分布式模型預測方法

在審

• 申請號: 202210106265.4
• 申請日: 2022-01-28
• 公開（公告）號: CN114528758A
• 公開（公告）日: 2022-05-24
• 發明（設計）人: 杜翠鳳;蔣仕寶;滕少華
• 申請（專利權）人: 廣州杰賽科技股份有限公司;廣東工業大學
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06N3/04;G06N3/08
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 呂金金

1.一種分布式模型預測方法，其特征在于，所述方法包括：

構建不同神經元分布的局部模型，并采用分布不同的數據訓練構建的局部模型；

采用聯合概率神經匹配對不同的局部模型的相似神經元進行匹配，采用懲罰函數篩選神經元；

根據篩選后的神經元構建全局模型，確定全局模型神經元的參數；

采用預設的訓練集，利用貝葉斯深度學習完成全局模型的參數分布的估計；

根據參數分布的估計完成全局模型的預測過程。

2.根據權利要求1所述的分布式模型預測方法，其特征在于，所述構建不同神經元分布的局部模型，并采用分布不同的數據訓練構建的局部模型，具體為：

基于全連接神經網絡構建不同局部模型，根據神經網絡的權重空間對稱的特性，不同的局部模型的輸出值為

采用聯邦學習的方法，根據邊緣計算服務器節點獲取的局部數據，以分布式的方式訓練不同的局部模型；

其中，x為局部模型的輸入值，W′₁是局部模型的輸入層到隱含層的權重，W′₂為局部模型的隱含層到輸出層的權重，∏為L×L的矩陣，L是局部模型中神經網絡的隱含層節點的數量，經過σ為預設的激活參數。

3.根據權利要求1所述的分布式模型預測方法，其特征在于，所述采用聯合概率神經匹配對不同的局部模型的相似神經元進行匹配，具體包括：

采用任意一個服務器的隱含層神經元到全局模型任意一個神經元的相似度最小的法則實現優化：

其中，j為局部模型的任意隱含層節點，l為全局模型的任意隱含層節點，i為全局模型的神經元，θ_i為全局模型的隱含層的權重，為局部模型的隱含層的權重，是全局模型和局部模型的相似度公式，是全局模型權重和局部模型權重之間的映射關系。

4.根據權利要求1所述的分布式模型預測方法，其特征在于，所述確定全局模型神經元的參數，具體包括：

根據篩選后的神經元確定全局模型輸入層到隱含層的權重W₁和全局模型隱含層到輸出的權重W₂；

基于確定的參數，將預先獲取的訓練集輸入到全局模型中，得到訓練集的全局模型的輸出值和實際輸出值的均方差E(W₁,W₂)；

采用正則化降低全局模型的網絡復雜性，以均方差最小為目的，以目標函數j(W₁,W₂)最小為目標，求解全局模型神經元的參數；

其中，J為局部模型的個數，j為J個局部模型中的任意局部模型，W_j,1是各個局部模型的輸入層到隱含層的權重，W_j,2是各個局部模型的隱含層到輸出層的權重，y_j為訓練集中與輸入值x_j對應的實際輸出值，為將輸入值x_j輸入到全局網絡中對應的輸出值，j(W₁,W₂)＝E(W₁,W₂)+λC(W₁,W₂)，i為全局模型的神經元，Hidden為全局模型從輸入層到隱含層之間映射的神經元，output為全局模型從隱含層到輸出層直接映射的神經元，w_1i是全局模型從輸入層到隱含層的權重，w_2i是全局模型從隱含層到輸出層的權重，λ為預設在0～1之間的數值。