[發明專利]基于聯邦學習的知識遷移方法、裝置、設備及介質

有效

• 申請號: 201911344082.0
• 申請日: 2019-12-20
• 公開（公告）號: CN111126609B
• 公開（公告）日: 2021-04-23
• 發明（設計）人: 梁新樂;劉洋;陳天健;董苗波
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06N5/02
• 分類號: G06N5/02;G06N20/00
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 王韜

本申請公開了一種基于聯邦學習的知識遷移方法、裝置、設備和介質，所述基于聯邦學習的知識遷移方法包括：接收不同訓練任務的各強化學習訓練模型，并對各所述強化學習訓練模型進行適配，獲得強化學習適配模型，對各所述強化學習適配模型進行聯邦處理，獲得聯邦模型，對所述聯邦模型進行適配，獲得聯邦適配模型，將各所述聯邦適配模型發送至各所述強化學習訓練模型對應的訓練設備，以對各所述強化學習訓練模型進行迭代訓練。本申請解決了知識遷移效率低的技術問題。

技術領域

本申請涉及金融科技(Fintech)的機器學習技術領域，尤其涉及一種基于聯邦學習的知識遷移方法、裝置、設備及介質。

背景技術

隨著金融科技，尤其是互聯網科技金融的不斷發展，越來越多的技術(如分布式、區塊鏈Blockchain、人工智能等)應用在金融領域，但金融業也對技術提出了更高的要求，如對金融業對應待辦事項的分發也有更高的要求。

隨著計算機軟件和人工智能的不斷發展，機器學習建模的應用也越來越廣泛，在現有技術中，強化學習訓練模型通常利用自身收集的數據進行學習、優化和控制，強化學習訓練模型的知識也是可遷移的，例如，將無人車的控制知識遷移到掃地機器人的控制上，目前，通常是通過離線的遷移模型進行強化學習訓練模型的知識的遷移，但是，這種離線遷移的方法在訓練過程中需要花費大量的訓練時間，進而導致強化學習訓練模型的知識遷移效率極低，且導致訓練過程中消耗的計算資源和傳輸資源過高，所以，現有技術中存在知識遷移效率低的技術問題。

發明內容

本申請的主要目的在于提供一種基于聯邦學習的知識遷移方法、裝置、設備和介質，旨在解決現有技術中知識遷移效率低的技術問題。

為實現上述目的，本申請提供一種基于聯邦學習的知識遷移方法，所述基于聯邦學習的知識遷移方法應用于基于聯邦學習的知識遷移設備，所述基于聯邦學習的知識遷移方法包括：

接收不同訓練任務的各強化學習訓練模型，并對各所述強化學習訓練模型進行適配，獲得強化學習適配模型；

對各所述強化學習適配模型進行聯邦處理，獲得聯邦模型；

對所述聯邦模型進行適配，獲得聯邦適配模型；

將各所述聯邦適配模型發送至各所述強化學習訓練模型對應的訓練設備，以對各所述強化學習訓練模型進行迭代訓練。

可選地，所述對各所述強化學習訓練模型進行適配，獲得強化學習適配模型的步驟包括：

獲取各所述強化學習訓練模型的模型輸入和模型輸出；

對各所述模型輸入和各所述模型輸出進行校正，獲得所述強化學習適配模型。

可選地，所述模型輸入包括環境參數，所述模型輸出包括模型控制變量，

所述對各所述模型輸入和各所述模型輸出進行校正，獲得所述強化學習適配模型的步驟包括：

對各所述環境參數進行量綱校正，獲得模型輸入校正結果；

對各所述控制變量進行量綱校正和對齊處理，獲得模型輸出校正結果；

基于所述模型輸入校正結果和所述模型輸出校正結果，獲取所述強化學習適配模型。

可選地，所述對各所述環境參數進行量綱校正，獲得模型輸入校正結果的步驟包括：

獲取預設標準環境參數，并將各所述環境參數與所述預設標準環境參數進行比對，獲得環境參數差異度；

基于各所述環境參數差異度，對各所述環境參數進行量綱校正，獲得所述模型輸入校正結果。

可選地，所述對各所述控制變量進行量綱校正和對齊處理，獲得模型輸出校正結果的步驟包括：