[發(fā)明專利]基于稀疏表示驅(qū)動(dòng)的深度強(qiáng)化學(xué)習(xí)北斗導(dǎo)航芯片設(shè)計(jì)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202210384663.2
• 申請(qǐng)日: 2022-04-13
• 公開（公告）號(hào): CN114841098B
• 公開（公告）日: 2023-04-18
• 發(fā)明（設(shè)計(jì)）人: 唐建浩;李珍妮;鄭少龍;謝勝利;元榮
• 申請(qǐng)（專利權(quán)）人: 廣東工業(yè)大學(xué)
• 主分類號(hào): G06F30/327
• 分類號(hào): G06F30/327;G06F30/392;G06N3/042;G06N3/084
• 代理公司: 北京高沃律師事務(wù)所 11569
• 代理人: 韓雪梅

1.一種基于稀疏表示驅(qū)動(dòng)的深度強(qiáng)化學(xué)習(xí)的北斗導(dǎo)航芯片設(shè)計(jì)方法，其特征在于，包括：

基于芯片的宏單元特征與網(wǎng)表圖信息得到圖嵌入和當(dāng)前宏單元嵌入；

將芯片的網(wǎng)表元數(shù)據(jù)經(jīng)過第一全連接網(wǎng)絡(luò)得到網(wǎng)表元數(shù)據(jù)嵌入；

將所述圖嵌入、當(dāng)前所述宏單元嵌入和所述網(wǎng)表元數(shù)據(jù)嵌入經(jīng)過第二全連接網(wǎng)絡(luò)得到三維的狀態(tài)空間；

對(duì)價(jià)值網(wǎng)絡(luò)最后一層隱藏層的神經(jīng)元添加正則子進(jìn)行稀疏約束，得到基于稀疏表示的價(jià)值網(wǎng)絡(luò)；所述價(jià)值網(wǎng)絡(luò)為一個(gè)全連接神經(jīng)網(wǎng)絡(luò)；

將所述三維的狀態(tài)空間輸入到所述基于稀疏表示的價(jià)值網(wǎng)絡(luò)，得到價(jià)值函數(shù)；

將所述三維的狀態(tài)空間輸入到策略網(wǎng)絡(luò)并在所述價(jià)值函數(shù)的指導(dǎo)下，得到北斗導(dǎo)航芯片宏單元的最優(yōu)布局策略；所述策略網(wǎng)絡(luò)為一個(gè)反卷積網(wǎng)絡(luò)；

所述將所述三維的狀態(tài)空間輸入到所述基于稀疏表示的價(jià)值網(wǎng)絡(luò)之前還包括：

（1）構(gòu)建所述基于稀疏表示的價(jià)值網(wǎng)絡(luò)的目標(biāo)函數(shù)，得到價(jià)值網(wǎng)絡(luò)目標(biāo)函數(shù)；所述價(jià)值網(wǎng)絡(luò)目標(biāo)函數(shù)的表達(dá)式為：

其中，表示價(jià)值網(wǎng)絡(luò)的權(quán)值參數(shù)；表示狀態(tài)下執(zhí)行動(dòng)作的獎(jiǎng)勵(lì)值；表示折扣率；和表示當(dāng)前宏單元在芯片畫布上的下一布局狀態(tài)和當(dāng)前布局狀態(tài)；表示價(jià)值估計(jì)值；表示正則子；表示正則子參數(shù)；表示求期望操作；

（2）對(duì)所述價(jià)值網(wǎng)絡(luò)目標(biāo)函數(shù)進(jìn)行權(quán)值優(yōu)化，得到優(yōu)化后的價(jià)值網(wǎng)絡(luò)目標(biāo)函數(shù)；具體包括：

利用次梯度下降算法對(duì)當(dāng)前所述價(jià)值網(wǎng)絡(luò)目標(biāo)函數(shù)進(jìn)行求解，得到當(dāng)前更新價(jià)值權(quán)值參數(shù)；

將當(dāng)前所述更新價(jià)值權(quán)值參數(shù)代入到當(dāng)前所述價(jià)值網(wǎng)絡(luò)目標(biāo)函數(shù)，得到當(dāng)前更新后的價(jià)值網(wǎng)絡(luò)目標(biāo)函數(shù)；

判斷當(dāng)前所述價(jià)值網(wǎng)絡(luò)目標(biāo)函數(shù)和前次所述價(jià)值網(wǎng)絡(luò)目標(biāo)函數(shù)的相對(duì)誤差是否小于第一預(yù)設(shè)值，得到第一判斷結(jié)果；

若所述第一判斷結(jié)果為是，則當(dāng)前所述更新后的價(jià)值網(wǎng)絡(luò)目標(biāo)函數(shù)為優(yōu)化后的價(jià)值網(wǎng)絡(luò)目標(biāo)函數(shù)；

若所述第一判斷結(jié)果為否，則判斷當(dāng)前迭代次數(shù)是否等于第一最大迭代次數(shù)，得到第二判斷結(jié)果；

若所述第二判斷結(jié)果為是，則當(dāng)前所述更新后的價(jià)值網(wǎng)絡(luò)目標(biāo)函數(shù)為所述優(yōu)化后的價(jià)值網(wǎng)絡(luò)目標(biāo)函數(shù)；

若所述第二判斷結(jié)果為否，則令當(dāng)前所述更新后的價(jià)值網(wǎng)絡(luò)目標(biāo)函數(shù)為當(dāng)前所述價(jià)值網(wǎng)絡(luò)目標(biāo)函數(shù)，并返回步驟“利用次梯度下降算法對(duì)當(dāng)前所述價(jià)值網(wǎng)絡(luò)目標(biāo)函數(shù)進(jìn)行求解，得到當(dāng)前更新價(jià)值權(quán)值參數(shù)”。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于芯片的宏單元特征與網(wǎng)表圖信息得到圖嵌入和宏單元嵌入，具體包括：

將導(dǎo)航芯片的網(wǎng)表圖信息輸入到圖神經(jīng)網(wǎng)絡(luò)；

利用所述圖神經(jīng)網(wǎng)絡(luò)將所述導(dǎo)航芯片的宏單元特征與網(wǎng)表圖進(jìn)行圖卷積運(yùn)算生成邊緣嵌入和宏單元嵌入；

對(duì)所述邊緣嵌入進(jìn)行降低平均值，得到圖嵌入；

對(duì)所述宏單元嵌入添加當(dāng)前宏單元信息得到當(dāng)前宏單元嵌入。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，當(dāng)前所述更新價(jià)值權(quán)值參數(shù)的公式為：

其中，表示最后一層隱藏層的第個(gè)神經(jīng)元；表示最后一層隱藏層神經(jīng)元的總數(shù)；表示對(duì)求導(dǎo)的操作；表示學(xué)習(xí)率；表示第次迭代時(shí)的權(quán)值；表示對(duì)權(quán)值參數(shù)求梯度的操作；為符號(hào)函數(shù)即的次梯度。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，將所述三維的狀態(tài)空間輸入到所述策略網(wǎng)絡(luò)之前還包括：

構(gòu)建所述策略網(wǎng)絡(luò)的目標(biāo)函數(shù)，得到策略網(wǎng)絡(luò)目標(biāo)函數(shù)；

對(duì)所述策略網(wǎng)絡(luò)目標(biāo)函數(shù)進(jìn)行權(quán)值更新，得到更新后的策略網(wǎng)絡(luò)目標(biāo)函數(shù)。