[發明專利]在線強化學習交易系統及方法

在審

• 申請號: 201710024531.8
• 申請日: 2017-01-11
• 公開（公告）號: CN106845817A
• 公開（公告）日: 2017-06-13
• 發明（設計）人: 王東;汪洋;劉榮
• 申請（專利權）人: 清華大學
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06Q40/04
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙)11201
• 代理人: 張潤

1.一種在線強化學習交易系統，其特征在于，包括以下步驟：

采集模塊，用于采集交易市場的交易數據；

特征映射模塊，用于將所述交易數據進行連續空間的映射，得到強化學習的狀態；

強化學習模型，用于通過迭代方式近似Q函數，更新模型參數；

輸出模塊，用于根據每一次迭代后得到的所述強化學習模型與所述強化學習的狀態輸出每個操作的Q值，并提取所述每個操作的Q值中最大值；以及

計算模塊，用于根據所述每個操作的Q值中最大值評價交易效果。

2.根據權利要求1所述的在線強化學習交易系統，其特征在于，所述采集模塊還用于對所述交易數據進行規整處理，以整理所述交易數據中異常數據。

3.根據權利要求1中所述的在線強化學習交易系統，其特征在于，通過多層以下映射函數進行映射：

Q＝g(x)

其中，g(x)為所述映射函數，并且采用以下神經網絡模型：

h＝f(w*x+b)，

其中，f(x)為激發函數，x為輸入的歷史k線數據，h為隱層表示，以作為Q網絡的輸入。

4.根據權利要求1所述的在線強化學習交易系統，其特征在于，所述每一次迭代包括：

根據預設時刻更新得到的Q網絡將初始數據的隱層表示作為輸入，得到輸出值計算目標Q值；

通過當前的Q網絡獲取實際值；以及

獲取損失值，更新權值。

5.根據權利要求1所述的在線強化學習交易系統，其特征在于，所述計算模塊具體用于根據所述每個操作的Q值中最大值得到交易指標，以根據所述交易指標得到所述交易效果，其中，所述交易指標包括收益率和夏普率。

6.一種在線強化學習交易方法，其特征在于，包括：

采集交易市場的交易數據；

將所述交易數據進行連續空間的映射，得到強化學習的狀態；

強化學習模型，用于通過迭代方式近似Q函數，更新強化學習模型的模型參數；

根據每一次迭代后得到的所述強化學習模型與所述強化學習的狀態輸出每個操作的Q值，并提取所述每個操作的Q值中最大值；以及

根據所述每個操作的Q值中最大值評價交易效果。

7.根據權利要求6所述的在線強化學習交易方法，其特征在于，在所述采集交易市場的交易數據之后，還包括：

對所述交易數據進行規整處理，以整理所述交易數據中異常數據。

8.根據權利要求6所述的在線強化學習交易方法，其特征在于，通過多層以下映射函數進行映射：

Q＝g(x)，

其中，g(x)為所述映射函數，并且采用以下神經網絡模型：

h＝f(w*x+b)，

其中，f(x)為激發函數，x為輸入的歷史k線數據，h為隱層表示，以作為Q網絡的輸入。

9.根據權利要求1所述的在線強化學習交易方法，其特征在于，所述每一次迭代包括：

根據預設時刻更新得到的Q網絡將初始數據的隱層表示作為輸入，得到輸出值計算目標Q值；

通過當前的Q網絡獲取實際值；以及

獲取損失值，更新權值。

10.根據權利要求6所述的在線強化學習交易方法，其特征在于，所述根據所述每個操作的Q值中最大值評價交易效果，進一步包括：

根據所述每個操作的Q值中最大值得到交易指標，以根據所述交易指標得到所述交易效果，其中，所述交易指標包括收益率和夏普率。