[發明專利]一種基于強化學習的股票交易方法

在審

• 申請號: 202110143628.7
• 申請日: 2021-02-02
• 公開（公告）號: CN112884576A
• 公開（公告）日: 2021-06-01
• 發明（設計）人: 陸洋;丁晨;金基東
• 申請（專利權）人: 上海卡方信息科技有限公司
• 主分類號: G06Q40/04
• 分類號: G06Q40/04;G06Q40/06;G06N3/08
• 代理公司: 上海創開專利代理事務所(普通合伙) 31374
• 代理人: 汪發成

本發明公開了一種基于強化學習的股票交易方法，涉及機器學習和量化交易領域。本發明基于具備自適應能力的循環強化學習算法進行股票交易；該方法包括：用戶交互界面、分類神經網絡N訓練分類神經網絡；通過循環強化學習RRL訓練階段，在識別的不同股票市場周期場景中分別執行買入、持有和賣出這三類操作，RRL訓練完成后，進入自動化交易執行和止損階段，根據用戶設定的止損策略進行動態止損，進行自動化交易執行。本發明能夠滿足用戶對風險收益的特定偏好，降低了人工交易失誤的風險，減少了人工決策的成本；相對于傳統線性模型和Q學習方法而言價格自適應性更強，做出的投資決策及時有效，并且能夠大幅提高交易勝率。

技術領域

本發明屬于機器學習和量化交易領域，特別是涉及一種基于強化學習的股票交易方法。

背景技術

隨著社會的發展、信息化技術的進步，全球借助計算機進行股票量化交易的資金規模越來越大。幾乎所有金融機構都在走信息化的道路，現在各個機構利用計算機輔助股票交易已經非常普遍，這大大節省了投資決策人員的工作量。但是，大多數中小投資者基本還是靠人力來查看行情，買賣過程也比較隨意。這不僅增加了股票交易的工作量，而且收益率也不是太高。為了解決這一問題，許多輔助股票交易軟件被開發并投入市場。但是這些軟件的通用化程度比較高，操作起來比較繁瑣，仍然無法滿足廣大中小投資者的個性化需求。互聯網的普及，個人電腦的廣泛應用，各種高級編程語言和數據庫的發布，使得中小投資者基于一臺能聯網的個人電腦自己編程實現計算機輔助股票交易成為可能。

發明內容

本發明提供了一種基于強化學習的股票交易方法，解決了以上問題。

為解決上述技術問題，本發明是通過以下技術方案實現的：

本發明的一種基于強化學習的股票交易方法，包括如下步驟：

S01、交易成本設定：用戶根據個人偏好或者歷史投資經驗設定交易成本，如若用戶在此步選擇“跳過”或者不指定具體的交易成本，則系統將自動將交易成本設置為默認值10bp；

S02、目標評價函數設定：系統將根據市場信息和宏觀數據識別出的股票市場周期預測市場下行和上行的概率，在此基礎上自動設定合理的目標評價函數；

S03、訓練分類神經網絡N；

S04、訓練循環強化學習模型RRL，具體包括：

S041、根據步驟S03中獲得的股票市場交易場景識別得到的結果，分別對不同市場環境下的循環強化學習模型訓練過程中的訓練樣本點數目進行設置；

S042、構建循環強化學習樣本集；

S043、從第一訓練點開始對循環強化學習模型進行訓練，在每項做出的投資決策后實時檢查當前對所有股票的持倉，分別獲得用戶在買入、持有、賣出決策下的決策價值Q1、Q2、Q3，決策價值計算以步驟S02中設定的目標評價函數為準，當系統推薦的目標評價函數與用戶設定的目標評價函數不一致時，優先使用用戶設定的目標評價函數，將系統推薦的目標評價函數作為次優先評價函數，兩者取加權平均獲得最終的目標評價函數；

S044、采用ε-greedy方式進行投資決策選擇；

S045、執行完上一步投資決策后，更新股票持倉明細，更新市場環境特征矩陣，識別股票市場交易周期，計算并且更新決策價值；

S046、將股票市場交易周期特征，因子矩陣以及決策向量和決策價值存入循環強化學習樣本集；

S047、輸出因子矩陣的權重矩陣，更新循環強化學習模型RRL參數；

S048、在所有股票市場交易周期場景內，重復步驟S042到步驟S047直到達到每個訓練場景的最大訓練次數，完成循環強化學習模型RRL的訓練，保存RRL的訓練參數；