[發(fā)明專利]一種面向困難探索環(huán)境的記憶保持課程學習方法

在審

• 申請?zhí)枺?/td>: 202011169070.1
• 申請日: 2020-10-28
• 公開（公告）號: CN112633466A
• 公開（公告）日: 2021-04-09
• 發(fā)明（設(shè)計）人: 曾政文;韋佳
• 申請（專利權(quán)）人: 華南理工大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 何淑珍;江裕強

1.一種面向困難探索環(huán)境的記憶保持課程學習方法，其特征在于，所述方法包括以下步驟：

步驟S1、根據(jù)困難探索問題構(gòu)建一系列子任務，并將子任務進行排列組成智能體即將學習的課程；

步驟S2、構(gòu)造雙重記憶系統(tǒng)，雙重記憶系統(tǒng)包括短期記憶智能體和長期記憶智能體；初始化各個智能體的策略參數(shù)，并用深度神經(jīng)網(wǎng)絡(luò)來表示各個智能體的策略函數(shù)；

步驟S3、短期記憶智能體根據(jù)步驟S1的課程進行序列訓練，持續(xù)從一系列子任務中學習新的知識；

步驟S4、當短期記憶智能體收斂到當前任務下的最優(yōu)策略時，收集與當前任務交互產(chǎn)生的經(jīng)驗片段，并將經(jīng)驗片段存儲到記憶緩存池中；

步驟S5、使用記憶緩存池中的數(shù)據(jù)來訓練長期記憶智能體，使用策略蒸餾將知識從短期記憶智能體遷移至長期記憶智能體，并采用KL散度作為策略蒸餾的損失函數(shù)，同時，采用貝葉斯在線學習中參數(shù)后驗的拉普拉斯近似估計作為記憶保持的損失函數(shù)，參數(shù)后驗視作舊任務的信息容器，以此約束與舊任務相關(guān)的參數(shù)；

步驟S6、使用記憶緩存池中的數(shù)據(jù)訓練到迭代次數(shù)后，保存長期記憶智能體策略參數(shù)，同時，將記憶緩存池中的樣本輸入到長期記憶智能體的策略網(wǎng)絡(luò)中，計算長期記憶智能體的各層網(wǎng)絡(luò)的前向輸入和反向梯度，再根據(jù)克羅內(nèi)克乘積計算當前參數(shù)下的費舍矩陣，保存網(wǎng)絡(luò)各層參數(shù)的克羅內(nèi)科因子，利用衰減因子來對各個任務的費舍矩陣進行更新合并；

步驟S7、重復步驟S3至步驟S7直到課程中的任務都訓練完畢，獲得最終的短期記憶智能體和長期記憶智能體。

2.根據(jù)權(quán)利要求1所述的一種面向困難探索環(huán)境的記憶保持課程學習方法，其特征在于：步驟S1的子任務構(gòu)建方法為修改環(huán)境參數(shù)，或者簡化任務環(huán)境，但是環(huán)境狀態(tài)空間以及動作空間保持不變。

3.根據(jù)權(quán)利要求2所述的一種面向困難探索環(huán)境的記憶保持課程學習方法，其特征在于：步驟S1是根據(jù)啟發(fā)式的方法或者專家知識將子任務按照從易至難的順序進行排列。

4.根據(jù)權(quán)利要求3所述的一種面向困難探索環(huán)境的記憶保持課程學習方法，其特征在于：所述短期記憶智能體的深度神經(jīng)網(wǎng)絡(luò)包括表示層、動作層、狀態(tài)估值層；

長期記憶智能體的深度神經(jīng)網(wǎng)絡(luò)包括表示層和動作層；對于短期記憶智能體的深度神經(jīng)網(wǎng)絡(luò)和長期記憶智能體的深度神經(jīng)網(wǎng)絡(luò)中表示層的具體結(jié)果，根據(jù)實際問題組合卷積層和全連接層，而短期記憶智能體的深度神經(jīng)網(wǎng)絡(luò)和長期記憶智能體的深度神經(jīng)網(wǎng)絡(luò)中動作層和狀態(tài)估值層均用全連接網(wǎng)絡(luò)表示，動作層輸出動作概率分布，狀態(tài)估值層輸入當前狀態(tài)估值，長期記憶智能體和短期記憶智能體的網(wǎng)絡(luò)輸入均為當前環(huán)境狀態(tài)。

5.根據(jù)權(quán)利要求4所述的一種面向困難探索環(huán)境的記憶保持課程學習方法，其特征在于：所述長期記憶智能體的深度神經(jīng)網(wǎng)絡(luò)中的卷積層均使用零填充操作，以便對位置信息進行編碼。

6.根據(jù)權(quán)利要求5所述的一種面向困難探索環(huán)境的記憶保持課程學習方法，其特征在于：步驟S3中，課程中的每個任務建模為馬爾可夫決策過程，并且使用演員評論家算法來求解，課程中每個任務的最優(yōu)策略為

其中，i代表課程中的任務序號，表示智能體在任務M_i下的訓練參數(shù)，而表示智能體在任務M_i下訓練的最優(yōu)參數(shù)，θ₀表示智能體在第一個任務上訓練時的隨機初始化參數(shù)，表示在任務M_i下的期望累計收益，短期記憶智能體在面對下一個任務M_i+1時的起始策略是當前任務M_i的最優(yōu)策略，起始時隨機初始化策略，表示上一個任務M_i-1的的最優(yōu)策略。

7.根據(jù)權(quán)利要求6所述的一種面向困難探索環(huán)境的記憶保持課程學習方法，其特征在于：步驟S3的訓練過程是具體為從學習的課程中挑選出任務M_i，使短期記憶智能體與環(huán)境交互生成軌跡{τⁱ}，用演員評論家算法更新短期記憶智能體策略參數(shù)θ^S，交替進行環(huán)境交互和參數(shù)更新的過程，直到短期記憶智能體與環(huán)境的交互數(shù)達到最大訓練局數(shù)。