[發(fā)明專利]一種基于深度Q網(wǎng)絡(luò)改進(jìn)的多目標(biāo)進(jìn)化算法

在審

• 申請(qǐng)?zhí)枺?/td>: 202310012540.0
• 申請(qǐng)日: 2023-01-05
• 公開(kāi)（公告）號(hào): CN116050514A
• 公開(kāi)（公告）日: 2023-05-02
• 發(fā)明（設(shè)計(jì)）人: 馮國(guó)瑞;周雨
• 申請(qǐng)（專利權(quán)）人: 上海大學(xué)
• 主分類號(hào): G06N3/126
• 分類號(hào): G06N3/126;G06N3/045;G06N3/08;G06N3/006
• 代理公司: 上海上大專利事務(wù)所(普通合伙) 31205
• 代理人: 何文欣

本發(fā)明公開(kāi)了一種基于深度Q網(wǎng)絡(luò)改進(jìn)的多目標(biāo)進(jìn)化算法。本算法的操作步驟如下：(1)設(shè)計(jì)深度Q網(wǎng)絡(luò)中的狀態(tài)空間s、動(dòng)作空間a、獎(jiǎng)勵(lì)模型r；(2)進(jìn)化過(guò)程中訓(xùn)練智能體，在每一個(gè)時(shí)間步驟上，智能體從動(dòng)作空間中選擇一個(gè)動(dòng)作，該動(dòng)作被傳遞給種群。更新種群收斂性和多樣性的指標(biāo)來(lái)描述狀態(tài)，同時(shí)計(jì)算相應(yīng)的獎(jiǎng)勵(lì)值，將經(jīng)驗(yàn)(ssubgt;t/subgt;，asubgt;t/subgt;，rsubgt;t/subgt;，ssubgt;t+1/subgt;)存儲(chǔ)到經(jīng)驗(yàn)池中；(3)從經(jīng)驗(yàn)池中獲取經(jīng)驗(yàn)進(jìn)行學(xué)習(xí)，更新神經(jīng)網(wǎng)絡(luò)參數(shù)，實(shí)現(xiàn)最優(yōu)的選擇策略。本發(fā)明在多目標(biāo)進(jìn)化算法中引入深度Q網(wǎng)絡(luò)學(xué)習(xí)思想，智能體通過(guò)與環(huán)境進(jìn)行交互得到行動(dòng)反饋，利用獎(jiǎng)勵(lì)機(jī)制優(yōu)化個(gè)體選擇。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于深度Q網(wǎng)絡(luò)改進(jìn)的多目標(biāo)進(jìn)化算法，用于解決現(xiàn)有多目標(biāo)進(jìn)化算法難以在高維空間中同時(shí)維持種群收斂性和多樣性的問(wèn)題。

背景技術(shù)

多目標(biāo)優(yōu)化問(wèn)題廣泛存在于日常生活和科學(xué)研究中，包括路徑優(yōu)化、計(jì)算機(jī)系統(tǒng)、金融經(jīng)濟(jì)學(xué)等領(lǐng)域。這些問(wèn)題是由多個(gè)相互沖突和影響的目標(biāo)組成，通常是非常復(fù)雜并且困難的，吸引了越來(lái)越多研究人員的注意力。在多目標(biāo)優(yōu)化問(wèn)題中，考慮到是對(duì)多個(gè)子目標(biāo)同時(shí)優(yōu)化，并且這些子目標(biāo)之間是相互沖突的，優(yōu)化了其中一個(gè)子目標(biāo)必然會(huì)導(dǎo)致其他至少一個(gè)子目標(biāo)的性能下降，那么在多目標(biāo)優(yōu)化問(wèn)題中，不存在唯一的最優(yōu)解，而是存在多個(gè)最優(yōu)解，稱為Pareto最優(yōu)解。

針對(duì)多目標(biāo)優(yōu)化問(wèn)題的求解，出現(xiàn)了多目標(biāo)進(jìn)化算法，這是一種模擬生物自然選擇與進(jìn)化的隨機(jī)搜索算法，適用于求解高度復(fù)雜的非線性問(wèn)題。近些年來(lái)，大量基于分解的、基于支配關(guān)系的、基于指標(biāo)的多目標(biāo)進(jìn)化算法被提出。然而，在現(xiàn)有的多目標(biāo)進(jìn)化算法中，隨著目標(biāo)維數(shù)的增加，種群中非支配解的比例增加，導(dǎo)致沒(méi)有足夠的選擇壓力。此外，現(xiàn)有的多樣性維持策略在高維空間中難以維持多樣性。為此，從目前的研究狀況來(lái)說(shuō)，提出相關(guān)的多目標(biāo)進(jìn)化算法具有重要意義。

深度Q網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)和Q-Learning的結(jié)合，利用神經(jīng)網(wǎng)絡(luò)近似模擬Q函數(shù)，網(wǎng)絡(luò)輸入為當(dāng)前狀態(tài)，輸出為每個(gè)動(dòng)作對(duì)應(yīng)的Q值，根據(jù)Q值大小選擇相應(yīng)的動(dòng)作。結(jié)合多目標(biāo)進(jìn)化算法，設(shè)計(jì)相應(yīng)的狀態(tài)空間、動(dòng)作空間、獎(jiǎng)勵(lì)模型，在進(jìn)化過(guò)程中訓(xùn)練智能體，從經(jīng)驗(yàn)池中獲取經(jīng)驗(yàn)進(jìn)行學(xué)習(xí)，更新神經(jīng)網(wǎng)絡(luò)參數(shù)，實(shí)現(xiàn)最優(yōu)的個(gè)體選擇策略，獲取具有較好收斂性和多樣性的最終種群。

發(fā)明內(nèi)容

本發(fā)明的目的是為了解決現(xiàn)有多目標(biāo)進(jìn)化算法難以在高維空間中同時(shí)維持種群收斂性和多樣性的問(wèn)題，提出了一種基于深度Q網(wǎng)絡(luò)改進(jìn)的多目標(biāo)進(jìn)化算法。

為了解決上述問(wèn)題，本發(fā)明的構(gòu)想是：

在深度Q網(wǎng)絡(luò)中，結(jié)合多目標(biāo)進(jìn)化算法，設(shè)計(jì)相應(yīng)的狀態(tài)空間、動(dòng)作空間、獎(jiǎng)勵(lì)模型，在進(jìn)化過(guò)程中訓(xùn)練智能體，從經(jīng)驗(yàn)池中獲取經(jīng)驗(yàn)進(jìn)行學(xué)習(xí)，更新神經(jīng)網(wǎng)絡(luò)參數(shù)，實(shí)現(xiàn)最優(yōu)的個(gè)體選擇策略，獲取具有較好收斂性和多樣性的最終種群。

根據(jù)上述的發(fā)明構(gòu)想，本發(fā)明采用了如下技術(shù)方案：

一種基于深度Q網(wǎng)絡(luò)改進(jìn)的多目標(biāo)進(jìn)化算法，具體步驟如下：

1)設(shè)計(jì)深度Q網(wǎng)絡(luò)中的狀態(tài)空間s、動(dòng)作空間a、獎(jiǎng)勵(lì)模型r；

2)進(jìn)化過(guò)程中訓(xùn)練智能體，在每一個(gè)時(shí)間步驟上，智能體從動(dòng)作空間中選擇一個(gè)動(dòng)作，該動(dòng)作被傳遞給種群。更新種群收斂性和多樣性的指標(biāo)來(lái)描述狀態(tài)，同時(shí)計(jì)算相應(yīng)的獎(jiǎng)勵(lì)值，將經(jīng)驗(yàn)(s_t,a_t,r_t,s_t+1)存儲(chǔ)到經(jīng)驗(yàn)池中；

3)從經(jīng)驗(yàn)池中獲取經(jīng)驗(yàn)進(jìn)行學(xué)習(xí)，更新神經(jīng)網(wǎng)絡(luò)參數(shù)，實(shí)現(xiàn)最優(yōu)的選擇策略。

進(jìn)一步地，所述步驟1)的具體操作步驟為：

①、種群收斂性和多樣性的衡量指標(biāo)用于表示種群的當(dāng)前狀態(tài)s，進(jìn)化過(guò)程中不同的種群狀態(tài)構(gòu)成狀態(tài)空間；

②、候選個(gè)體集合映射為動(dòng)作空間，候選集中的每個(gè)個(gè)體對(duì)應(yīng)一個(gè)動(dòng)作行為a；