[發(fā)明專利]一種基于狀態(tài)分布感知采樣的智能體深度價值函數(shù)學(xué)習(xí)方法

有效

• 申請?zhí)枺?/td>: 201810459347.0
• 申請日: 2018-05-15
• 公開（公告）號: CN108647789B
• 公開（公告）日: 2022-04-19
• 發(fā)明（設(shè)計）人: 李璽;李偉超;皇福獻
• 申請（專利權(quán)）人: 浙江大學(xué)
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06K9/62
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 傅朝棟;張法高

1.一種基于狀態(tài)分布感知采樣的智能體深度價值函數(shù)學(xué)習(xí)方法，其特征在于包括以下步驟：

S1、獲取用于智能體學(xué)習(xí)價值函數(shù)的經(jīng)驗數(shù)據(jù)，并定義算法目標(biāo)；

S2、使用卷積神經(jīng)網(wǎng)絡(luò)對經(jīng)驗數(shù)據(jù)進行預(yù)處理，增強經(jīng)驗數(shù)據(jù)集的表達能力；

S3、在經(jīng)驗數(shù)據(jù)集的特征空間中使用無監(jiān)督方法對經(jīng)驗數(shù)據(jù)集進行聚類；

S4、根據(jù)經(jīng)驗數(shù)據(jù)集的狀態(tài)分布，采用基于均勻采樣和簇等概率采樣插值的樣本狀態(tài)分布感知采樣方法進行樣本采樣；

S5、智能體使用采樣得到的樣本數(shù)據(jù)進行價值函數(shù)的學(xué)習(xí)；

步驟S1中所述的用于智能體學(xué)習(xí)價值函數(shù)的經(jīng)驗數(shù)據(jù)為四元組{s，a，r，s′}，其中s表示智能體的狀態(tài)，a表示智能體采取的動作，r表示智能體獲得的獎勵，s′表示智能體的下一狀態(tài)；所述的算法目標(biāo)為最大化智能體的累計獎勵，累計獎勵計算如下：其中γ是折現(xiàn)系數(shù)，且γ∈(0，1)，t是智能體和環(huán)境的交互次數(shù)，r_t為智能體在t次交互獲得的獎勵；

步驟S2中所述的預(yù)處理具體為：使用卷積神經(jīng)網(wǎng)絡(luò)對數(shù)據(jù)進行處理以獲得表達性更強的狀態(tài)特征，具體計算如下：

其中f_cnn()為卷積神經(jīng)網(wǎng)絡(luò)，θ_cnn為卷積參數(shù)，為提取到的s_i的深層卷積特征，s_i為經(jīng)驗數(shù)據(jù)集中第i個樣本的原始狀態(tài)特征；i＝1，2，...，n，n為經(jīng)驗數(shù)據(jù)集中的樣本總數(shù)；

所述步驟S3包括以下子步驟：

S31、使用靜態(tài)哈希的方法SimHash將高維的數(shù)據(jù)轉(zhuǎn)換為哈希碼進行分析聚類，即：

其中為的哈希碼；A是一個k×D的轉(zhuǎn)換矩陣，其元素從一個標(biāo)準(zhǔn)高斯分布N(0，1)中隨機采樣得到，k是哈希碼的長度，D是的維度；

S32、對n個哈希碼按照漢明距離進行不同類別的分類統(tǒng)計，得到m個不同的簇，第j個簇包含的樣本數(shù)量為num_j，并且

步驟S4中樣本采樣方法具體為：在S3聚類分析得到的樣本狀態(tài)空間分布的基礎(chǔ)上，采用基于均勻采樣和簇等概率采樣插值的樣本狀態(tài)分布感知采樣方法進行樣本采樣，該采樣方法中采樣第i個樣本的概率為：

其中β是用來平衡均勻采樣和簇等概率采樣之間的超參數(shù)，β∈(0，1)；num_i表示第i個樣本所在的簇包含的樣本數(shù)量；

得到每個樣本的概率后，根據(jù)不同樣本的概率從經(jīng)驗數(shù)據(jù)集中采集樣本；

步驟S5具體為：使用S4所述采樣方法從經(jīng)驗數(shù)據(jù)集中獲取樣本后，將其用于智能體學(xué)習(xí)價值函數(shù)，根據(jù)如下方程迭代地更新價值函數(shù)：

其中Q(s，a)為價值函數(shù)，Q(s′，a′)下一時刻的價值函數(shù)，α為學(xué)習(xí)率。