[發(fā)明專利]資產(chǎn)配置方法和裝置

在審

• 申請?zhí)枺?/td>: 202011305068.2
• 申請日: 2020-11-20
• 公開（公告）號(hào): CN112419069A
• 公開（公告）日: 2021-02-26
• 發(fā)明（設(shè)計(jì)）人: 譚文清;朱代輝;李耀明
• 申請（專利權(quán)）人: 上海叮諾科技有限公司
• 主分類號(hào): G06Q40/06
• 分類號(hào): G06Q40/06;G06N3/04;G06N3/08
• 代理公司: 北京華智則銘知識(shí)產(chǎn)權(quán)代理有限公司 11573
• 代理人: 姜子朋

1.一種資產(chǎn)配置方法，其特征在于，所述方法包括：

數(shù)據(jù)收集步驟：從數(shù)據(jù)庫中提取需要配置的資產(chǎn)類別所對應(yīng)的特征數(shù)據(jù)；其中，所述資產(chǎn)類別至少為兩種；

數(shù)據(jù)預(yù)處理步驟：對所述特征數(shù)據(jù)進(jìn)行預(yù)處理，包括清洗數(shù)據(jù)、填充空值以及標(biāo)準(zhǔn)化處理；

特征提取步驟：采用特征提取網(wǎng)絡(luò)對經(jīng)過預(yù)處理的所述特征數(shù)據(jù)進(jìn)行特征提取，獲得有效特征；

策略輸出步驟：將所述有效特征輸入策略網(wǎng)絡(luò)，得到輸出的正態(tài)分布參數(shù)以及價(jià)值函數(shù)；

參數(shù)訓(xùn)練步驟：基于歷史數(shù)據(jù)利用強(qiáng)化學(xué)習(xí)算法對所述特征提取網(wǎng)絡(luò)和所述策略網(wǎng)絡(luò)的參數(shù)進(jìn)行訓(xùn)練；

生成配置步驟：將經(jīng)過預(yù)處理的所述特征數(shù)據(jù)輸入到訓(xùn)練完成的所述特征提取網(wǎng)絡(luò)和所述策略網(wǎng)絡(luò)，獲得資產(chǎn)配置權(quán)重。

2.如權(quán)利要求1所述的方法，其特征在于，所述策略網(wǎng)絡(luò)包括第一全連接神經(jīng)網(wǎng)絡(luò)和第二全連接神經(jīng)網(wǎng)絡(luò)，所述策略輸出步驟包括：

將所述有效特征輸入所述第一全連接神經(jīng)網(wǎng)絡(luò)，得到所述第一全連接神經(jīng)網(wǎng)絡(luò)輸出的以μ為均值以σ為標(biāo)準(zhǔn)差的正態(tài)分布參數(shù)；

從所述正態(tài)分布中抽樣得到動(dòng)作向量a_t，利用softmax函數(shù)將a_t轉(zhuǎn)化為配置向量w_t，其中

將所述有效特征輸入所述第二全連接神經(jīng)網(wǎng)絡(luò)，得到所述第二全連接神經(jīng)網(wǎng)絡(luò)價(jià)值函數(shù)v_t。

3.如權(quán)利要求2所述的方法，其特征在于，所述參數(shù)訓(xùn)練步驟包括：

初始化所述策略網(wǎng)絡(luò)的策略參數(shù)θ₀，設(shè)置對未來獎(jiǎng)勵(lì)的折現(xiàn)因子γ和緩存空間容量為m個(gè)元組，將初始化策略網(wǎng)絡(luò)V₀拷貝得到靜態(tài)網(wǎng)絡(luò)V₁；

獲取所述資產(chǎn)類別的初始各類資產(chǎn)狀態(tài)s₀；

將所述資產(chǎn)狀態(tài)s_t輸入所述策略網(wǎng)絡(luò)，得到正態(tài)分布N(μ_t,σ_t)，從N(μ_t,σ_t)中抽樣得到w_t，計(jì)算得到動(dòng)作a_t＝softmax(w_t)；

執(zhí)行動(dòng)作a_t得到t時(shí)刻的獎(jiǎng)勵(lì)函數(shù)r_t+1和下一期的資產(chǎn)狀態(tài)s_t+1；在緩存空間中存儲(chǔ)元組(s_t,a_t,r_t+1,s_t+1)；

當(dāng)所述緩存空間被占滿時(shí)，從所述緩存空間中采集m個(gè)元組，基于所述m個(gè)元組，并令y_t＝r_t+1+γV_t(s_t+1)，計(jì)算損失函數(shù)：

其中，A^θ’(s_t,a_t)＝y(tǒng)_t-V′_t(s_t)；S_t是各個(gè)資產(chǎn)類別在t時(shí)刻的狀態(tài)；a_t是所述策略網(wǎng)絡(luò)輸出的t時(shí)刻的資產(chǎn)配置權(quán)重；γ是對未來獎(jiǎng)勵(lì)的折現(xiàn)因子；v_t是在t時(shí)刻的價(jià)值函數(shù)；

利用梯度下降法更新所述策略參數(shù)

4.如權(quán)利要求1所述的方法，其特征在于，所述特征提取網(wǎng)絡(luò)為長短期記憶網(wǎng)絡(luò)或卷積神經(jīng)網(wǎng)絡(luò)。