[發明專利]橫向聯邦和縱向聯邦聯合方法、裝置、設備及介質

有效

• 申請號: 201911035368.0
• 申請日: 2019-10-29
• 公開（公告）號: CN110782042B
• 公開（公告）日: 2022-02-11
• 發明（設計）人: 梁新樂;劉洋;陳天健;董苗波
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 王韜

本發明公開了一種橫向聯邦和縱向聯邦聯合方法、裝置、設備和介質，所述橫向聯邦和縱向聯邦聯合方法包括獲取可利用公共信息，并將所述可利用公共信息輸入預設縱向聯邦服務方，獲得向量信息，基于所述向量信息，對所述預設縱向聯邦服務方的縱向聯邦模型進行訓練，更新各預設強化學習模型的網絡權重，定期將更新后的各所述預設強化學習模型輸入預設橫向聯邦服務器，對更新后的各所述預設強化學習模型進行迭代更新。解決了現有技術中強化學習模型的計算系統資源消耗高的技術問題。

技術領域

本發明涉及金融科技(Fintech)的機器學習技術領域，尤其涉及一種橫向聯邦和縱向聯邦聯合方法、設備及介質。

背景技術

隨著金融科技，尤其是互聯網科技金融的不斷發展，越來越多的技術(如分布式、區塊鏈Blockchain、人工智能等)應用在金融領域，但金融業也對技術提出了更高的要求，如對金融業對應待辦事項的分發也有更高的要求。

隨著人工智能的逐步發展，利用強化學習在工業界進行最優化控制已經取得了廣泛的研究，在現有技術中，強化學習模型通常利用自身收集的數據進行學習、優化和控制，但是，強化學習模型自身采集數據往往會產生一些困難，例如，無人車的高速雷達無法穿越遮擋，由于其圖像傳感器高度的限制，無人車無法獲得更為全面的數據(如周圍車輛的分布，運行狀態等)，導致強化學習模型的樣本處理效率低下，且模型控制性能差，進一步地，為了在樣本處理效率低下，且模型控制性能差的情況下，為獲得較好的最優化控制結果，僅僅通過強化學習模型自身獨自進行學習、優化和控制，需要消耗大量的計算系統資源，所以，現有技術中存在強化學習模型的計算系統資源消耗高的技術問題。

發明內容

本發明的主要目的在于提供一種橫向聯邦和縱向聯邦聯合方法、裝置、設備和介質，旨在解決現有技術中強化學習模型的計算系統資源消耗高的技術問題。

為實現上述目的，本發明實施例提供一種橫向聯邦和縱向聯邦聯合方法，所述橫向聯邦和縱向聯邦聯合方法應用于橫向聯邦和縱向聯邦聯合設備，所述橫向聯邦和縱向聯邦聯合方法包括：

獲取可利用公共信息，并將所述可利用公共信息輸入預設縱向聯邦服務方，獲得向量信息；

基于所述向量信息，對所述預設縱向聯邦服務方的縱向聯邦模型進行訓練，更新各預設強化學習模型的網絡權重；

定期將更新后的各所述預設強化學習模型輸入預設橫向聯邦服務器，對更新后的各所述預設強化學習模型進行迭代更新。

可選地，所述基于所述向量信息，對所述預設縱向聯邦服務方的縱向聯邦模型進行訓練，更新各預設強化學習模型的網絡權重的步驟包括：

接收各所述預設強化學習模型發送的傳感器數據，并基于所述傳感器數據和所述向量信息，通過所述縱向聯邦模型產生控制信息；

在所述控制信息對應的訓練環境下，對所述縱向聯邦模型進行訓練，獲得獎勵信息和下一時間步狀態信息；

將所述獎勵信息、所述下一時間步狀態信息和所述控制信息存儲為樣本信息，并基于所述樣本信息，更新各所述預設強化學習模型的網絡權重。

可選地，所述基于所述樣本信息，更新各所述預設強化學習模型的網絡權重的步驟包括：

將所述樣本信息作為訓練數據輸入所述預設強化學習模型，以對所述預設強化學習模型進行訓練，獲得訓練輸出值；

將所述訓練輸出值與所述訓練數據對應的真實輸出值進行比對，獲得模型誤差值；

將所述模型誤差值與預設誤差閥值進行比對，若所述模型誤差值小于所述預設誤差閥值，則完成對所述預設強化學習模型的訓練；

若所述模型誤差值大于或等于所述預設誤差閥值，則基于所述模型誤差值更新所述預設強化學習模型的網絡權重，對所述預設強化學習模型重新進行訓練。