[發明專利]強化學習的遷移訓練優化方法、裝置、終端及存儲介質

在審

• 申請號: 201911057308.9
• 申請日: 2019-10-31
• 公開（公告）號: CN110766169A
• 公開（公告）日: 2020-02-07
• 發明（設計）人: 梁新樂;劉洋;陳天健;董苗波
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 44287 深圳市世紀恒程知識產權代理事務所
• 代理人: 王韜

本發明公開了一種強化學習的遷移訓練優化方法、裝置、終端設備及計算機可讀存儲介質，通過獲取各預設環境的訓練設備基于強化學習訓練所得到的各訓練模型；對各所述訓練模型進行聯邦處理以生成聯邦模型；將所述聯邦模型遷移適配至各所述預設環境，以供各所述預設環境的所述訓練設備根據所述聯邦模型優化強化學習訓練。本發明充分利用預設環境中訓練設備進行強化訓練得到的訓練模型，不僅能夠很好的保護用戶數據隱私，還避免了傳統的強化學習訓練方式進行強化學習時傳輸數據的高成本、長時延的問題，優化提升了工業強化學習模型的穩定性和模型訓練的整體效率。

技術領域

本發明涉及Fintech(金融科技)技術領域，尤其涉及一種強化學習的遷移訓練優化方法、裝置、終端設備及計算機可讀存儲介質。

背景技術

時下工業界應用強化學習的訓練方式通常為，先從仿真環境和現實環境收集大量訓練數據，然后將訓練數據集中匯總以訓練強化學習(或其他機器學習)模型，最后將訓練好的模型部署至仿真環境和現實環境中，并由仿真環境和現實環境繼續收集訓練數據進行訓練。

由于仿真環境和現實環境均為數據收集的過程，而強化學習模型的訓練和下發過程均在完成數據收集之后進行，而基于強化學習實時訓練的要求，致使傳統的強化學習訓練方式需要保留和遷移仿真環境和現實環境所收集到的數據，而基于數據傳輸帶寬、傳輸時延以及涉及用戶隱私等因素的限制，導致傳統的強化學習訓練方式進行強化學習的穩定性差、整體訓練效率低。

發明內容

本發明的主要目的在于提供一種強化學習的遷移訓練優化方法、裝置、終端設備及計算機可讀存儲介質，旨在解決現有的強化學習訓練方式進行強化學習的穩定性差、整體訓練效率低的技術問題。

為實現上述目的，本發明提供一種強化學習的遷移訓練優化方法，所述強化學習的遷移訓練優化方法包括：

獲取各預設環境的訓練設備基于強化學習訓練所得到的各訓練模型；

對各所述訓練模型進行聯邦處理以生成聯邦模型；

將所述聯邦模型遷移適配至各所述預設環境，以供各所述預設環境的所述訓練設備根據所述聯邦模型優化強化學習訓練。

進一步地，所述將所述聯邦模型遷移適配至各所述預設環境的步驟，包括：

讀取各所述預設環境的環境參數；

按照所述環境參數對所述聯邦模型進行調整以將所述聯邦模型遷移適配至各所述預設環境。

進一步地，各所述預設環境包括：各仿真環境和各現實環境，

所述獲取各預設環境的訓練設備基于強化學習訓練所得到的各訓練模型的步驟，包括：

檢測各所述仿真環境的訓練設備基于實時強化學習訓練完成的各訓練模型的存儲隊列，并按照預設周期從所述存儲隊列中隨機提取各訓練模型；

按照所述預設周期獲取各所述現實環境的訓練設備基于實時強化學習訓練完成的各訓練模型。

進一步地，在所述檢測各所述仿真環境的訓練設備基于實時強化學習訓練完成的各訓練模型的存儲隊列的步驟之前，還包括：

構建與各所述現實環境相對應的各所述仿真環境，并在各所述仿真環境中基于所述訓練設備實時進行強化學習訓練以得到所述訓練模型。

進一步地，所述構建與各所述現實環境相對應的各所述仿真環境的步驟，包括：

檢測各所述現實環境所屬的工業領域；

調用所述工業領域的模擬軟件構建各所述仿真環境，其中構建出的所述仿真環境的個數大于等于所述現實環境的個數。

進一步地，所述對各所述訓練模型進行聯邦處理以生成聯邦模型的步驟，包括：