[發(fā)明專利]基于DDPG深度強化學習算法的投資組合管理方法

在審

• 申請?zhí)枺?/td>: 202110235134.1
• 申請日: 2021-03-03
• 公開（公告）號: CN112950373A
• 公開（公告）日: 2021-06-11
• 發(fā)明（設(shè)計）人: 蘇炯龍;張恒銘;蔣正雍
• 申請（專利權(quán)）人: 西交利物浦大學
• 主分類號: G06Q40/04
• 分類號: G06Q40/04;G06Q40/06;G06N3/04;G06N3/08;G06Q10/04
• 代理公司: 南京艾普利德知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 32297
• 代理人: 陸明耀

1.一種基于DDPG深度強化學習算法的投資組合管理方法，其特征在于，包括如下步驟：

S1,構(gòu)建股票交易場景的多層式DDPG模型；

所述多層式DDPG模型包括兩個全連接神經(jīng)網(wǎng)絡(luò)以及兩個LSTM神經(jīng)網(wǎng)絡(luò)，兩個全連接神經(jīng)網(wǎng)絡(luò)分別為Actor網(wǎng)絡(luò)和Target-Actor網(wǎng)絡(luò)，兩個LSTM神經(jīng)網(wǎng)絡(luò)分別為Critics網(wǎng)絡(luò)和Target-Critics網(wǎng)絡(luò)；所述Actor網(wǎng)絡(luò)的輸入為第t個交易周期狀態(tài)，其中t為一個正自然數(shù)，輸出為當前交易周期的動作，不同標的資產(chǎn)在第t+1個交易周期的權(quán)重；所述Target-Actor網(wǎng)絡(luò)的輸入為預(yù)測的t+1個交易周期的狀態(tài)，輸出為當前交易周期的動作，不同標的資產(chǎn)在第t+2個交易周期的權(quán)重；所述Target-Critics網(wǎng)絡(luò)的輸入為所述Target-Actor網(wǎng)絡(luò)的輸出，不同標的資產(chǎn)在第t+2個交易周期的權(quán)重、以及第t+1個交易周期的狀態(tài)，輸出為一個評分；所述Critics網(wǎng)絡(luò)的輸入為第t個交易周期的狀態(tài)、以及該交易周期的動作不同標的資產(chǎn)在第t+1個交易周期的權(quán)重，輸出為一個評分；

S2，訓(xùn)練所述多層式DDPG模型使其參數(shù)最優(yōu)化；

S3，加載訓(xùn)練好的多層式DDPG模型的參數(shù)，接收股票的歷史價格和狀態(tài)，通過所述多層式DDPG模型獲取下一交易周期初的資產(chǎn)分配權(quán)重，并根據(jù)資產(chǎn)分配權(quán)重調(diào)整資產(chǎn)在股票市場中的分配，從而得到最優(yōu)投資策略。

2.根據(jù)權(quán)利要求1所述的基于DDPG深度強化學習算法的投資組合管理方法，其特征在于，所述S1中，Actor網(wǎng)絡(luò)以及Critics網(wǎng)絡(luò)的輸入為第t個交易周期的狀態(tài)，其通過如下方法得到：

S11，交易周期以交易日替代，分別提取所要管理股票的前t個交易日的收盤、最高、最低價格，然后針對每一個交易日每一只股票，計算當前交易日的收盤價P_i，前一交易日的收盤價P_i-1，以及當前交易日與前一交易日的收盤價的比值的自然對數(shù)當前交易日兩日RSI指標，當前交易日的總資產(chǎn)V_i，當前交易日每個股票對應(yīng)的持股數(shù)，當前交易日的現(xiàn)金c_i，將上述所有股票在交易日i的指標組成第i個交易日的狀態(tài)S_i，對于前t個交易日中缺省的數(shù)據(jù)，直接舍去；

S12，將經(jīng)過S11得到的狀態(tài)組合成一個(t,50)維的狀態(tài)矩陣，為第t個交易日的狀態(tài)張量。

3.根據(jù)權(quán)利要求1所述的基于DDPG深度強化學習算法的投資組合管理方法，其特征在于，所述S2中，每次神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程如下：

S21，提取記憶批次其中S_i為第i個交易日的狀態(tài)，a_i為第i個交易日的行為；

S22，將S₂輸入Target-Actor網(wǎng)絡(luò)，輸出為預(yù)測的a₂；

S23，將S₂,a₂輸入Target-Critics網(wǎng)絡(luò)，輸出為對應(yīng)的行為獎勵函數(shù)Q₂；

S24，從S₁，S₂中提取對應(yīng)的總資產(chǎn)V₁ V₂，然后計算獎勵R₁＝V₂-V₁；

S25，計算期望行為獎勵

S26，將S₁a₁輸入Critics網(wǎng)絡(luò)，獲得預(yù)測獎勵函數(shù)Q₁；

S27，利用Huber-Loss以及Q₁計算Critics網(wǎng)絡(luò)的損失函數(shù)；

S28，利用該損失函數(shù)對Critics神經(jīng)網(wǎng)絡(luò)進行參數(shù)優(yōu)化；

S29，將S₁輸入Actor網(wǎng)絡(luò)，輸出為預(yù)測的a₁；

S30，將S₁以及預(yù)測的a₁輸入Critics網(wǎng)絡(luò)，并將此網(wǎng)絡(luò)的輸出結(jié)果作為Actor網(wǎng)絡(luò)的損失函數(shù)，并對Actor網(wǎng)絡(luò)進行參數(shù)優(yōu)化；

S31，對Target-Actor網(wǎng)絡(luò)以及Target-Critics網(wǎng)絡(luò)進行參數(shù)軟更新。