[發明專利]一種基于強化學習的趨勢交易方法及系統

在審

• 申請號: 202010723181.6
• 申請日: 2020-07-24
• 公開（公告）號: CN111861752A
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 梁智昊;潘炎;劉冶
• 申請（專利權）人: 中山大學;火烈鳥網絡（廣州）股份有限公司
• 主分類號: G06Q40/04
• 分類號: G06Q40/04;G06Q40/06;G06N20/00
• 代理公司: 廣州駿思知識產權代理有限公司 44425
• 代理人: 吳靜芝

本發明涉及一種基于強化學習的趨勢交易方法及系統，包括以下步驟：獲取一金融品種的歷史行情數據，從所述歷史行情數據劃分出訓練集和測試集；構建金融技術指標及特征變量，設立交易動作規則；從所述訓練集中計算出所述金融技術指標，以所述訓練集的所述金融技術指標為輸入、以所述動作規則作為約束，對一強化學習模型進行訓練，最后獲取一經過訓練的模型；用所述經過訓練的模型對所述測試集的數據進行交易預測，獲取交易的初次決策；設置一過濾層，通過所述過濾層進行二次決策；設置一回測平臺，通過所述回測平臺進行測試，獲取交易的最終執行結果。本發明通過強化學習模型充分利用市場信息對小概率的高利潤交易時機進行有效捕捉，以此獲得盈利。

技術領域

本發明涉及機器學習領域，特別是涉及一種基于強化學習的趨勢交易方法及系統。

背景技術

目前，傳統的金融投資方法很大程度上依賴于投資人自身的金融專業素養和預判市場價格走勢的能力，缺少經驗的主觀投資者會承擔比較大的風險。因此，借助于計算機的量化交易策略越來越收到人們的關注，國內的量化交易領域發展迅速，出現了很多不同的交易策略。

對于量化交易策略，傳統的方法是根據計量經濟學的一些規律來設計的策略，其根據當前市場信息計算金融技術指標，再根據這些指標和金融學規律來做出決策。這些方法比較依賴于過往總結的一些市場規律，但市場是多變的，把以前的一些做法拿到現在來使用很可能就失效了。因此，如今比較先進的做法是結合機器學習模型和市場數據來設計交易策略，這樣的方法可以及時學習到市場的最新規律，以達到更穩定盈利的目的。

隨著人工智能技術的快速發展，強化學習被引入到量化交易領域中使用，強化學習依賴于它強大的自適應控制能力和自我學習能力，能夠很好地應用于量化交易這種需要序列決策的問題中。強化學習模型根據環境狀態(State)、行動(Action)和獎勵(Reward)，學習出最佳策略，以最終結果為目標，不能只看某個行動當下帶來的利益，還要看行動未來帶來的價值。常見的強化學習算法有Soft Actor-Critic(SAC)、Proximal PolicyOptimization(PPO)、Deep Q-learning Network(DQN)等等，不同的算法要根據不同的應用場景來選擇。

趨勢交易策略是一種常見的量化交易策略，趨勢是指市場價格的走勢，因此趨勢策略就是指依據市場價格趨勢來交易的策略。比如，市場價格即將上漲，那么投資人就買入(做多)；市場價格即將下跌，那么投資人就賣出(做空)。根據持倉時間的長短，趨勢策略可以分為長期趨勢策略、中期趨勢策略和短期趨勢策略。

強化學習的方法在趨勢交易中獲取最優交易策略的問題上具有很大的探索空間和價值，如何準確地抓住小概率的高利潤交易機會成為亟待解決的問題。

發明內容

基于此，本發明的目的在于，提供一種基于強化學習的趨勢交易方法，該方法主要用于中長期的趨勢交易，通過強化學習模型充分利用市場信息對小概率的高利潤交易時機進行有效捕捉，以此抵消由于決策失誤導致的損失并獲得盈利。

本發明所提供的一種基于強化學習的趨勢交易方法，包括以下步驟：

選擇一金融品種，獲取所選品種的歷史行情數據，所述歷史行情數據主要包括t時刻的最高價hight_t、最低價low_t、開盤價open_t、收盤價close_t和成交量volume_t，從所述歷史行情數據劃分出訓練集和測試集；

構建金融技術指標及特征變量，設立交易動作規則；

從所述訓練集中計算出所述金融技術指標，以所述訓練集的所述金融技術指標為輸入、以所述動作規則作為約束，對一強化學習模型進行訓練，最后獲取一經過訓練的模型；

從所述測試集中計算出所述金融技術指標，以所述金融技術指標為輸入，用所述經過訓練的模型對所述測試集進行預測，獲取交易的初次決策；