[發明專利]一種基于強化學習的趨勢交易方法及系統

在審

• 申請號: 202010723181.6
• 申請日: 2020-07-24
• 公開（公告）號: CN111861752A
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 梁智昊;潘炎;劉冶
• 申請（專利權）人: 中山大學;火烈鳥網絡（廣州）股份有限公司
• 主分類號: G06Q40/04
• 分類號: G06Q40/04;G06Q40/06;G06N20/00
• 代理公司: 廣州駿思知識產權代理有限公司 44425
• 代理人: 吳靜芝

1.一種基于強化學習的趨勢交易方法，其特征在于，包括以下步驟：

選擇一金融品種，獲取所選品種的歷史行情數據，所述歷史行情數據主要包括t時刻的最高價hight_t、最低價low_t、開盤價open_t、收盤價close_t和成交量volume_t，對所述歷史行情數據進行數據清洗及數據處理，從所述歷史行情數據劃分出訓練子集和測試子集；

構建金融技術指標及特征變量，設立交易動作規則；

從所述訓練子集中計算出所述金融技術指標，以所述訓練子集的所述金融技術指標為輸入、以所述動作規則作為約束，對一強化學習模型進行訓練，最后獲取一經過訓練的強化學習模型；

從所述測試子集中計算出所述金融技術指標，以所述測試子集的所述金融技術指標為輸入，采用所述經過訓練的強化學習模型對所述測試子集進行預測，獲取交易的初次決策；

設置一過濾層，通過所述過濾層進行二次決策，獲取交易的二次決策；

設置一回測平臺，通過所述回測平臺進行測試，獲取交易的最終執行結果。

2.根據權利要求1所述的基于強化學習的趨勢交易方法，其特征在于：所述金融品種為黑色系的期貨品種，所述歷史行情數據優選為分鐘級的OHLC數據。

3.根據權利要求2所述的基于強化學習的趨勢交易方法，其特征在于：所述金融技術指標包括300分鐘簡單移動平均指標300分鐘順勢指標和300分鐘變動率指標所述3個金融技術指標的計算公式分別如下：

其中，

TP＝high_t+low_t+close_t

通過上述公式計算出所述3個金融技術指標后，還需分別對所述3個金融技術指標進行歸一化處理，其計算公式如下：

其中，μ為均值，σ為標準差；

所述特征變量包括時間點t時刻過去x分鐘內low價格的最低價low_X min、代表退場動作的buy_exit、代表每次交易入場和退場在考慮手續費下所得收益的y_buy以及代表買入動作的best_action；

所述動作規則包括：

把當前時間點t時刻的收盤價close數據與對應的low_X min進行比較，判斷是否要在當前時間點退場，buy_exit為1表示退場，buy_exit為0表示不退場；

如果某個時間點的收益y_buy大于0，則best_action設置為1，否則，設置為0。

4.根據權利要求3所述的基于強化學習的趨勢交易方法，其特征在于：所述強化學習模型選擇PPO算法作為訓練算法；模型訓練時在所述訓練集中隨機選擇開始時間點；每個episode區間大小限制在600到1000之間。

5.根據權利要求4所述的基于強化學習的趨勢交易方法，其特征在于：所述訓練算法所使用的目標函數采用限制KL散度的方式來實現，所述目標函數的計算公式如下：

所述訓練算法所采用的訓練策略為MLP策略，所述MLP策略的激活函數采用tanh，其計算公式如下：

6.根據權利要求5所述的基于強化學習的趨勢交易方法，其特征在于：所述二次決策的方法包括：計算過去100分鐘內收盤價close的均值mean與標準差std，每個時刻過濾層都會對此進行判斷，判斷算式如下：

close≥mean+3*std

當所述判斷算式成立，并且所述交易的初次決策為1，則所述交易的二次決策為1，否則為0。

7.根據權利要求6所述的基于強化學習的趨勢交易方法，其特征在于：所述回測平臺采用vnpy回測框架，在進行所述測試前提前導入所述測試集中的數據，對合約大小、最小價格變動、回測本金以及手續費比率等信息進行設置；對倉位大小position進行設定，每次讀入一個bar，根據所述交易的初次決策和二次決策得出最終執行結果。