[發明專利]一種基于深度強化學習的時間序列分類方法

在審

• 申請號: 201911070579.8
• 申請日: 2019-11-05
• 公開（公告）號: CN110826624A
• 公開（公告）日: 2020-02-21
• 發明（設計）人: 楊尚明;劉勇國;李巧勤;劉朗;任志揚;陳智
• 申請（專利權）人: 電子科技大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 成都正華專利代理事務所(普通合伙) 51229
• 代理人: 陳選中

1.一種基于深度強化學習的時間序列分類方法，其特征在于，包括以下步驟：

S1、采集若干時間序列，獲取樣本數據，并對樣本數據進行預處理；

S2、構建深度殘差網絡，根據預處理后的樣本數據，通過深度強化學習方法對深度殘差網絡進行更新；

S3、將待測試的時間序列輸入更新完成的深度殘差網絡，得到時間序列的分類結果。

2.根據權利要求1所述的基于深度強化學習的時間序列分類方法，其特征在于，所述步驟S1中采集的時間序列為X，X＝{x₁,...,x_t,...,x_T}，所述樣本數據為D＝{(X₁,y₁),...,(X_i,y_i),...,(X_N,y_N)}；

其中，x_t表示t時刻的觀測值，t＝1,2,...,T，T表示觀測值總數，X_i表示樣本，i＝1,2,...,N，N表示樣本總數，y_i表示樣本標簽。

3.根據權利要求1所述的基于深度強化學習的時間序列分類方法，其特征在于，所述步驟S1中預處理的具體方法為：采用線性函數歸一化方法對樣本數據進行線性變化；

所述線性函數X_i^*為：

其中，X_i表示樣本數據中的時間序列樣本，i＝1,2,...,N，N表示樣本總數，X_min表示樣本數據中的最小值，X_max表示樣本數據中的最大值。

4.根據權利要求2所述的基于深度強化學習的時間序列分類方法，其特征在于，所述步驟S2的分步驟包括：

S2.1、構建深度殘差網絡，并隨機抽取一條預處理過后的樣本數據輸入深度殘差網絡；

S2.2、通過深度殘差網絡獲取當前Q值，根據當前Q值對樣本數據中時間序列選取分類動作，得到分類結果；

S2.3、根據樣本標簽和分類結果建立獎勵函數，并判斷樣本標簽和分類結果是否一致，若是則通過獎勵函數向深度殘差網絡發送正獎勵，否則通過獎勵函數向深度殘差網絡發送負獎勵；

S2.4、根據真實的分類結果，生成與深度殘差網絡結構相同的模擬深度殘差網絡，并通過模擬深度殘差網絡生成目標Q值；

S2.5、根據當前Q值和目標Q值，對深度殘差網絡和模擬深度殘差網絡進行更新；

S2.6、對深度殘差網絡更新K次，每更新一次網絡，則采用與步驟S2.2-步驟S2.3相同的方法得到該次深度殘差網絡的獎勵值；

S2.7、遍歷所有樣本后，將所有樣本參與的第k次網絡更新時產生的獎勵值相加，得到K個總獎勵值，將總獎勵值最大時的網絡參數作為最終的網絡參數；

其中，k＝1,2,...,K，K為每個樣本參與的網絡更新總次數。

5.根據權利要求4所述的基于深度強化學習的時間序列分類方法，其特征在于，所述深度殘差網絡包括依次連接的輸入層、第一殘差塊、第二殘差塊、第三殘差塊、平均池化層、分類器和輸出層；

所述第一殘差塊、第二殘差塊和第三殘差塊結構相同，均包括依次連接的第一卷積層、第二卷積層和第三卷積層，所述第一卷積層的輸入和第三卷積層的輸出相加作為殘差塊的輸出；

所述每個卷積層的卷積核數量為64，且使用Relu作為每個卷積層的激活函數，所述第一卷積層、第二卷積層和第三卷積層的卷積核大小分別設置為8、5和3。