[發明專利]在線強化學習交易系統及方法

在審

• 申請號: 201710024531.8
• 申請日: 2017-01-11
• 公開（公告）號: CN106845817A
• 公開（公告）日: 2017-06-13
• 發明（設計）人: 王東;汪洋;劉榮
• 申請（專利權）人: 清華大學
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06Q40/04
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙)11201
• 代理人: 張潤

技術領域

本發明涉及計算機技術領域，特別涉及一種在線強化學習交易系統及方法。

背景技術

隨著市場的交易數據越來越多，對大量數據進行快速分析的需求越來越迫切，尤其是在一些高頻交易中，依靠人發出交易指令很可能滯后導致獲利機會的丟失。因此，計算機技術被應用在交易中，從而依靠程序自動分析已有的數據發掘套利的機會并發出交易的指令，進而獲利。

相關技術中，程序化交易的應用主要有如下兩個方面：

1.對基本面信息的分析，可采用程序自動分析公司財務報表之類的文件，得到該公司的資金，財務，發展狀況等有價值的基本面信息幫助交易人員決策。

2.對交易信息的分析，采用程序分析證券之間的相關性，在整個市場中尋找相關性較強的證券對，做配對交易或者分析證券的自相關性預測證券價格走勢。

除此之外，現在運用比較多的是根據量化人員的交易經驗分析證券價格、波動的模式，得出一些均線策略，反轉策略，突破策略等。

然而，經過大規模的對數據的分析得出的判斷具有更高的準確性和可信度，但是程序可分析出比較抽象的模式，這些模式憑人的經驗可能很難從歷史數據發現。不僅如此，快速的交易指令的發出使得對高置信概率的套機機會把握的更加及時。然而，現有的程序化交易算法還有很多的不足，例如大多數都需要設計者有豐富的交易經驗，對交易經驗進行提煉，得出交易思想，然后用程序實現，不但受限于交易人員的交易經驗，而且不利于充分分析市場數據來發掘更多套利機會。因此，相關技術存在一定缺陷，有待改進。

發明內容

本發明旨在至少在一定程度上解決相關技術中的技術問題之一。

為此，本發明的一個目的在于提出一種在線強化學習交易系統，該系統能夠學習交易市場的復雜信號，并且實時學習和適應市場變化。

本發明的另一個目的在于提出一種在線強化學習交易方法。

為達到上述目的，本發明一方面實施例提出了一種在線強化學習交易系統，包括以下步驟：采集模塊，用于采集交易市場的交易數據；特征映射模塊，用于將所述交易數據進行連續空間的映射，得到強化學習的狀態；強化學習模型，用于通過迭代方式近似Q函數，更新模型參數；輸出模塊，用于根據每一次迭代后得到的所述強化學習模型與所述強化學習的狀態輸出每個操作的Q值，并提取所述每個操作的Q值中最大值；計算模塊，用于根據所述每個操作的Q值中最大值評價交易效果。

本發明實施例的在線強化學習交易系統，利用深度學習將出入的各種因子數據映射到另一個連續空間中，可以從大量帶噪聲的數據中提取出市場狀態準確的表示，且利用Q-learning的model-free的特性，保證了模型能夠自己從學習的過程中發現市場規律，不受認為人為假設的限制，并且利用強化學習能夠在線學習的特性，捕捉市場的動態特性，不會隨著時間的推移而失效，以及作為一個端對端的系統，輸入已有的交易歷史信息，直接輸出選擇的操作，而不是像以往的模型一樣輸出的是對市場的預測，然后再人為的決定操作，從而避免了人錯誤判斷造成損失，不但能夠學習交易市場的復雜信號，而且實時學習和適應市場變化，提高系統的實用性和可靠性，簡單易實現。

另外，根據本發明上述實施例的在線強化學習交易系統還可以具有以下附加的技術特征：

進一步地，在本發明的一個實施例中，所述采集模塊還用于對所述交易數據進行規整處理，以整理所述交易數據中異常數據。

進一步地，在本發明的一個實施例中，通過多層以下映射函數進行映射：

Q＝g(x)

其中，g(x)為所述映射函數，并且采用以下神經網絡模型：

h＝f(w*x+b)，

其中，f(x)為激發函數，x為輸入的歷史k線數據，h為隱層表示，以作為Q網絡的輸入。

進一步地，在本發明的一個實施例中，所述每一次迭代包括：根據預設時刻更新得到的Q網絡將初始數據的隱層表示作為輸入，得到輸出值計算目標Q值；通過當前的Q網絡獲取實際值；獲取損失值，更新權值。

進一步地，在本發明的一個實施例中，所述計算模塊具體用于根據所述每個操作的Q值中最大值得到交易指標，以根據所述交易指標得到所述交易效果，其中，所述交易指標包括收益率和夏普率。