[發明專利]基于聯邦學習的知識遷移方法、裝置、設備及介質

有效

• 申請號: 201911344082.0
• 申請日: 2019-12-20
• 公開（公告）號: CN111126609B
• 公開（公告）日: 2021-04-23
• 發明（設計）人: 梁新樂;劉洋;陳天健;董苗波
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06N5/02
• 分類號: G06N5/02;G06N20/00
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 王韜

1.一種基于聯邦學習的知識遷移方法，其特征在于，所述基于聯邦學習的知識遷移方法包括：

知識遷移設備接收不同訓練任務的各強化學習訓練模型，并對各所述強化學習訓練模型進行適配，獲得強化學習適配模型，其中，所述知識遷移設備對各所述強化學習訓練模型進行適配，獲得強化學習適配模型的步驟包括：

知識遷移設備從所有訓練任務中選定目標訓練任務對應的強化學習訓練模型為標準強化學習訓練模型，獲得標準模型輸出和標準模型輸入，并通過將各所述強化學習訓練模型對應的模型輸入和對應的模型輸出校正為所述標準模型輸出和標準模型輸入，調整各所述強化學習訓練模型的模型網絡參數，獲得強化學習適配模型；

所述知識遷移設備對各所述強化學習適配模型進行聯邦處理，獲得聯邦模型；

所述知識遷移設備對所述聯邦模型進行適配，獲得聯邦適配模型；

所述知識遷移設備將各所述聯邦適配模型發送至各所述強化學習訓練模型對應的訓練設備，以對各所述強化學習訓練模型進行迭代訓練。

2.如權利要求1所述基于聯邦學習的知識遷移方法，其特征在于，所述對各所述強化學習訓練模型進行適配，獲得強化學習適配模型的步驟包括：

獲取各所述強化學習訓練模型的模型輸入和模型輸出；

對各所述模型輸入和各所述模型輸出進行校正，獲得所述強化學習適配模型。

3.如權利要求2所述基于聯邦學習的知識遷移方法，其特征在于，所述模型輸入包括環境參數，所述模型輸出包括模型控制變量，

所述對各所述模型輸入和各所述模型輸出進行校正，獲得所述強化學習適配模型的步驟包括：

對各所述環境參數進行量綱校正，獲得模型輸入校正結果；

對各所述控制變量進行量綱校正和對齊處理，獲得模型輸出校正結果；

基于所述模型輸入校正結果和所述模型輸出校正結果，獲取所述強化學習適配模型。

4.如權利要求3所述基于聯邦學習的知識遷移方法，其特征在于，所述對各所述環境參數進行量綱校正，獲得模型輸入校正結果的步驟包括：

獲取預設標準環境參數，并將各所述環境參數與所述預設標準環境參數進行比對，獲得環境參數差異度；

基于各所述環境參數差異度，對各所述環境參數進行量綱校正，獲得所述模型輸入校正結果。

5.如權利要求3所述基于聯邦學習的知識遷移方法，其特征在于，所述對各所述控制變量進行量綱校正和對齊處理，獲得模型輸出校正結果的步驟包括：

對各所述控制變量進行對齊處理，獲得對齊處理結果；

獲取預設標準控制變量，并基于所述預設標準控制變量和所述對齊處理結果對各所述控制變量進行量綱校正，獲得模型輸出校正結果。

6.如權利要求1所述基于聯邦學習的知識遷移方法，其特征在于，所述對所述聯邦模型進行適配，獲得聯邦適配模型的步驟包括：

獲取各所述強化學習訓練模型的訓練任務；

基于所述訓練任務，對所述聯邦模型的輸入和輸出進行適配，獲得所述聯邦適配模型。

7.如權利要求1所述基于聯邦學習的知識遷移方法，其特征在于，所述對各所述強化學習適配模型進行聯邦處理，獲得聯邦模型的步驟包括：

獲取各所述強化學習適配模型的模型參數，并對各所述模型參數進行加權平均，獲得聯邦模型參數；

基于所述聯邦模型參數，獲取所述聯邦模型。