[發明專利]一種歷史決策數據驅動的智能決策平臺及其實現方法

有效

• 申請號: 202110228505.3
• 申請日: 2021-03-02
• 公開（公告）號: CN112597217B
• 公開（公告）日: 2021-05-28
• 發明（設計）人: 秦熔均;高聳屹;張興遠;李澤文;徐震;黃圣凱
• 申請（專利權）人: 南棲仙策（南京）科技有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/21
• 代理公司: 南京樂羽知行專利代理事務所(普通合伙) 32326
• 代理人: 李玉平

1.一種歷史決策數據驅動的智能決策平臺，其特征在于：包括數據輸入模塊，決策任務自動構建模塊，虛擬環境訓練模塊，決策策略訓練模塊，分布式神經網絡調度模塊，以及超參選優模塊；

所述數據輸入模塊用于上傳存放歷史決策數據的文件；

所述決策任務自動構建模塊根據歷史決策數據和業務場景構建決策因果圖；所述決策因果圖反應了歷史決策數據之間的因果關系；決策因果圖包含有決策空間節點和決策目標節點；決策空間節點是可以做決策的動作空間，決策目標是希望通過決策模型優化的目標節點；決策因果圖構建完成后，決策任務自動構建模塊把數據輸入模塊上傳的歷史決策數據按列綁定到因果圖的每個節點；

所述虛擬環境訓練模塊基于歷史決策數據和決策因果圖進行虛擬環境訓練，在訓練過程中使用分布式訓練模塊分發計算資源進行多模型并行訓練，超參選優模塊在預定義的超參空間進行超參選擇；虛擬環境訓練模塊判斷訓練的虛擬環境和真實環境的相似度，如果相似度達到預設的閾值，則環境模型訓練完成，否則繼續進行模型訓練；最后獲得符合要求的訓練完成的虛擬環境模型；

所述決策策略訓練模塊在虛擬環境模型上使用強化學習方法進行決策模型訓練，訓練過程中使用分布式訓練模塊分發計算資源進行多模型并行訓練，超參選優模塊在預定義的超參空間進行超參選擇；判斷輸出的決策模型是否已經達到需求，如果不符合需求，則繼續進行模型訓練，如果達到需求，則輸出決策模型；

所述分布式神經網絡調度模塊獲得輸出的環境模型和決策模型，釋放模型訓練占用的資源，對環境模型和決策模型打包，提供API供用戶調用進行智能決策。

2.根據權利要求1所述的歷史決策數據驅動的智能決策平臺，其特征在于：將存放歷史決策數據的文件上傳到數據輸入模塊，數據輸入模塊對文件中的歷史決策數據進行數據預處理，包括填補缺失值以及刪除噪聲數據和重復數據。

3.根據權利要求2所述的歷史決策數據驅動的智能決策平臺，其特征在于：存放歷史決策數據的文件為Excel，CSV和SQL的文件格式。

4.根據權利要求1所述的歷史決策數據驅動的智能決策平臺，其特征在于：所述超參選優模塊生成多組超參，分布式訓練模塊并行的對計算資源進行調度，創建多個進程分別對生成的超參進行訓練。

5.一種歷史決策數據驅動的智能決策平臺實現方法，其特征在于，包括如下步驟：

S1，獲得歷史決策數據進行數據處理；

S2，根據歷史決策數據和業務場景構建決策因果圖；所述決策因果圖反應了歷史決策數據之間的因果關系，決策因果圖包含有決策空間節點和決策目標節點；所述決策空間節點是可以做決策的動作空間，決策目標是希望通過決策模型優化的目標節點；決策因果圖構建完成后，需要把S1中上傳的歷史決策數據按列綁定到決策因果圖的每個節點；

S3，基于歷史決策數據和決策因果圖進行虛擬環境訓練，在訓練過程中使用分布式訓練模塊分發計算資源進行多模型并行訓練，超參選優模塊會在預定義的超參空間進行超參選擇；

S4，判斷訓練的虛擬環境和真實環境的相似度，如果相似度達到預設的閾值，則環境模型訓練完成，否則繼續回到S3進行模型訓練；

S5，獲得符合要求的訓練完成的虛擬環境模型；

S6，在虛擬環境上使用強化學習方法進行決策模型訓練，訓練過程中使用分布式訓練模塊分發計算資源進行多模型并行訓練，超參選優模塊會在預定義的超參空間進行超參選擇；

S7，判斷S6輸出的決策模型是否已經達到需求，如果不符合需求，則回到S6繼續進行模型訓練，如果達到需求，則輸出決策模型；

S8，獲得輸出的環境模型和決策模型，釋放模型訓練占用的資源，對環境模型和決策模型打包，提供API供用戶調用進行智能決策。

6.根據權利要求5所述的歷史決策數據驅動的智能決策平臺實現方法，其特征在于，所述S1中，平臺支持使用Excel，CSV和SQL文件格式上傳歷史決策數據，上傳后的歷史決策數據會被平臺進行數據預處理，包括填補缺失值，以及刪除噪聲數據和重復數據。