[發(fā)明專利]一種基于狀態(tài)分布感知采樣的智能體深度價(jià)值函數(shù)學(xué)習(xí)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201810459347.0
• 申請(qǐng)日: 2018-05-15
• 公開（公告）號(hào): CN108647789B
• 公開（公告）日: 2022-04-19
• 發(fā)明（設(shè)計(jì)）人: 李璽;李偉超;皇福獻(xiàn)
• 申請(qǐng)（專利權(quán)）人: 浙江大學(xué)
• 主分類號(hào): G06N20/00
• 分類號(hào): G06N20/00;G06K9/62
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 傅朝棟;張法高

本發(fā)明公開了一種基于狀態(tài)分布感知采樣的智能體深度價(jià)值函數(shù)學(xué)習(xí)方法，用于智能體在較少的樣本下較快地學(xué)習(xí)價(jià)值函數(shù)。具體包括如下步驟：1)獲取用于智能體學(xué)習(xí)價(jià)值函數(shù)的經(jīng)驗(yàn)數(shù)據(jù)，并定義算法目標(biāo)；2)使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)經(jīng)驗(yàn)數(shù)據(jù)進(jìn)行預(yù)處理，得到表達(dá)能力更強(qiáng)的特征集；3)在經(jīng)驗(yàn)數(shù)據(jù)集的特征空間中使用無監(jiān)督方法對(duì)經(jīng)驗(yàn)數(shù)據(jù)集進(jìn)行聚類；4)根據(jù)經(jīng)驗(yàn)數(shù)據(jù)集的狀態(tài)分布，采用基于均勻采樣和簇等概率采樣插值的樣本狀態(tài)分布感知采樣方法進(jìn)行采樣；5)智能體使用采樣得到的樣本進(jìn)行價(jià)值函數(shù)的學(xué)習(xí)。本發(fā)明適用于增強(qiáng)學(xué)習(xí)領(lǐng)域的游戲博弈問題，能夠在較少的樣本量的情況下較快地取得較好的效果。

技術(shù)領(lǐng)域

本發(fā)明屬于增強(qiáng)學(xué)習(xí)領(lǐng)域，是機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)分支，特別地涉及一種基于經(jīng)驗(yàn)數(shù)據(jù)狀態(tài)分布感知的樣本采樣的方法。

背景技術(shù)

樣本選擇是機(jī)器學(xué)習(xí)領(lǐng)域一個(gè)重要問題，選擇方式的不同直接影響到模型學(xué)習(xí)的質(zhì)量。在增強(qiáng)學(xué)習(xí)領(lǐng)域，從經(jīng)驗(yàn)數(shù)據(jù)集中進(jìn)行樣本采樣能夠幫助克服樣本相關(guān)性和遺忘早期樣本的問題。樣本采樣的目標(biāo)是要從樣本集中選出能夠加快模型收斂，并增強(qiáng)智能體對(duì)環(huán)境感知能力的樣本。傳統(tǒng)方法一般是采用隨機(jī)均勻采樣的方式從經(jīng)驗(yàn)數(shù)據(jù)集中采樣，這種方式容易造成樣本不平衡問題，使得智能體學(xué)習(xí)速度較慢。

現(xiàn)有的基于對(duì)樣本屬性感知的采樣方法主要根據(jù)某種度量方式，比如時(shí)間差分誤差，來對(duì)不同的樣本設(shè)定不同的采樣優(yōu)先級(jí)。而這種方式并沒有從根本上解決兩個(gè)問題：1.不同狀態(tài)的樣本重要程度接近，但是產(chǎn)生的數(shù)量卻相差較大，根據(jù)什么標(biāo)準(zhǔn)來從經(jīng)驗(yàn)數(shù)據(jù)集中采樣可以避免對(duì)冗余的樣本進(jìn)行過度采樣；2.由于樣本本身維度非常高、數(shù)目巨大且不斷產(chǎn)生，因此有效地對(duì)大量高維樣本進(jìn)行分析是一個(gè)關(guān)鍵因素，如何才能高效地從不斷產(chǎn)生的大量的樣本集中采樣。

發(fā)明內(nèi)容

為解決上述問題，本發(fā)明的目的在于提供一種基于狀態(tài)分布感知采樣的智能體深度價(jià)值函數(shù)學(xué)習(xí)方法。該方法基于深度神經(jīng)網(wǎng)絡(luò)對(duì)智能體所處環(huán)境有效的特征表達(dá)，利用哈希的方法對(duì)樣本集的特征進(jìn)行高效地聚類分析，即對(duì)狀態(tài)空間的感知，并采用基于狀態(tài)感知的采樣方式，能夠更好地選擇經(jīng)驗(yàn)數(shù)據(jù)集中的樣本，提高智能體的學(xué)習(xí)速率和質(zhì)量。

為實(shí)現(xiàn)上述目的，本發(fā)明的技術(shù)方案為：

一種基于狀態(tài)分布感知采樣的智能體深度價(jià)值函數(shù)學(xué)習(xí)方法，包括以下步驟：

S1、獲取用于智能體學(xué)習(xí)價(jià)值函數(shù)的經(jīng)驗(yàn)數(shù)據(jù)，并定義算法目標(biāo)；

S2、使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)經(jīng)驗(yàn)數(shù)據(jù)進(jìn)行預(yù)處理，增強(qiáng)經(jīng)驗(yàn)數(shù)據(jù)集的表達(dá)能力；

S3、在經(jīng)驗(yàn)數(shù)據(jù)集的特征空間中使用無監(jiān)督方法對(duì)經(jīng)驗(yàn)數(shù)據(jù)集進(jìn)行聚類；

S4、根據(jù)經(jīng)驗(yàn)數(shù)據(jù)集的狀態(tài)分布，采用基于均勻采樣和簇等概率采樣插值的樣本狀態(tài)分布感知采樣方法進(jìn)行樣本采樣；

S5、智能體使用采樣得到的樣本數(shù)據(jù)進(jìn)行價(jià)值函數(shù)的學(xué)習(xí)。

上述方案中，各步驟可采用如下優(yōu)選方式具體實(shí)現(xiàn)。

作為優(yōu)選，步驟S1中所述的用于智能體學(xué)習(xí)價(jià)值函數(shù)的經(jīng)驗(yàn)數(shù)據(jù)為四元組{s,a,r,s′}，其中s表示智能體的狀態(tài)，a表示智能體采取的動(dòng)作，r表示智能體獲得的獎(jiǎng)勵(lì)，s′表示智能體的下一狀態(tài)；所述的算法目標(biāo)為最大化智能體的累計(jì)獎(jiǎng)勵(lì)，累計(jì)獎(jiǎng)勵(lì)計(jì)算如下：其中γ是折現(xiàn)系數(shù)，且γ∈(0,1)，t是智能體和環(huán)境的交互次數(shù)，r_t為智能體在t次交互獲得的獎(jiǎng)勵(lì)。

作為優(yōu)選，步驟S2中所述的預(yù)處理具體為：使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)數(shù)據(jù)進(jìn)行處理以獲得表達(dá)性更強(qiáng)的狀態(tài)特征，具體計(jì)算如下：

其中f_cnn()為卷積神經(jīng)網(wǎng)絡(luò)，θ_cnn為卷積參數(shù)，為提取到的s_i的深層卷積特征,s_i為經(jīng)驗(yàn)數(shù)據(jù)集中第i個(gè)樣本的原始狀態(tài)特征；i＝1,2,…,n，n為經(jīng)驗(yàn)數(shù)據(jù)集中的樣本總數(shù)。