[發(fā)明專利]基于稀疏表示驅(qū)動(dòng)的深度強(qiáng)化學(xué)習(xí)北斗導(dǎo)航芯片設(shè)計(jì)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202210384663.2
• 申請(qǐng)日: 2022-04-13
• 公開（公告）號(hào): CN114841098B
• 公開（公告）日: 2023-04-18
• 發(fā)明（設(shè)計(jì)）人: 唐建浩;李珍妮;鄭少龍;謝勝利;元榮
• 申請(qǐng)（專利權(quán)）人: 廣東工業(yè)大學(xué)
• 主分類號(hào): G06F30/327
• 分類號(hào): G06F30/327;G06F30/392;G06N3/042;G06N3/084
• 代理公司: 北京高沃律師事務(wù)所 11569
• 代理人: 韓雪梅

本發(fā)明涉及一種基于稀疏表示驅(qū)動(dòng)的深度強(qiáng)化學(xué)習(xí)的北斗導(dǎo)航芯片設(shè)計(jì)方法，包括：基于芯片的宏單元特征、網(wǎng)表圖信息和網(wǎng)表元數(shù)據(jù)得到圖嵌入、當(dāng)前宏單元嵌入和網(wǎng)表元數(shù)據(jù)嵌入并經(jīng)過第二全連接網(wǎng)絡(luò)得到三維的狀態(tài)空間；對(duì)價(jià)值網(wǎng)絡(luò)最后一層隱藏層的神經(jīng)元添加正則子進(jìn)行稀疏約束，得到基于稀疏表示的價(jià)值網(wǎng)絡(luò)；將三維的狀態(tài)空間輸入到基于稀疏表示的價(jià)值網(wǎng)絡(luò)，得到價(jià)值函數(shù)；將三維的狀態(tài)空間輸入到策略網(wǎng)絡(luò)并在價(jià)值函數(shù)的指導(dǎo)下，得到北斗導(dǎo)航芯片宏單元的最優(yōu)布局策略。基于稀疏表示的價(jià)值網(wǎng)絡(luò)緩解價(jià)值網(wǎng)絡(luò)參數(shù)學(xué)習(xí)的災(zāi)難性干擾的問題，提高基于深度強(qiáng)化學(xué)習(xí)的北斗導(dǎo)航芯片設(shè)計(jì)的準(zhǔn)確性和魯棒性。

技術(shù)領(lǐng)域

本發(fā)明涉及機(jī)器學(xué)習(xí)領(lǐng)域和芯片設(shè)計(jì)領(lǐng)域，特別是涉及一種基于稀疏表示?驅(qū)動(dòng)的深度強(qiáng)化學(xué)習(xí)的北斗導(dǎo)航芯片設(shè)計(jì)新方法。

背景技術(shù)

目前，我國(guó)小天才、華為、小米等公司的導(dǎo)航產(chǎn)品目前使用的定位芯片基?本依賴于進(jìn)口，主要來源于國(guó)外企業(yè)u-blox、SONY等。目前導(dǎo)航芯片設(shè)計(jì)過?程需要耗費(fèi)較長(zhǎng)的時(shí)間，使得導(dǎo)航芯片的研發(fā)速度非常緩慢。其中又以芯片布?局階段最為復(fù)雜和耗時(shí)，其復(fù)雜性主要來源于網(wǎng)表圖的大小、芯片畫報(bào)的網(wǎng)格?粒度以及真正目標(biāo)指標(biāo)過高的計(jì)算成本三個(gè)方面。盡管對(duì)芯片設(shè)計(jì)問題進(jìn)行了?幾十年的研究，但現(xiàn)有的芯片布局工具仍要進(jìn)行數(shù)周的迭代才能生成滿足各方面設(shè)計(jì)標(biāo)準(zhǔn)的布局方案。因此，開發(fā)出能提高芯片設(shè)計(jì)的準(zhǔn)確性、縮短芯片設(shè)?計(jì)周期的北斗導(dǎo)航芯片設(shè)計(jì)新方法顯得尤為重要。

深度強(qiáng)化學(xué)習(xí)(Deep?Reinforcement?Learning)將強(qiáng)化學(xué)習(xí)的決策能力和?深度學(xué)習(xí)的感知能力兩者結(jié)合，展示其優(yōu)越的適應(yīng)性和學(xué)習(xí)能力，可用于解決?系統(tǒng)復(fù)雜的決策感知問題。最近，谷歌提出了一種基于深度強(qiáng)化學(xué)習(xí)的芯片布?局方法，目標(biāo)是在遵守放置密度和路由擁塞的條件限制的情況下，快速地將包含宏單元和標(biāo)準(zhǔn)單元的網(wǎng)表映射到芯片畫布上，同時(shí)優(yōu)化功耗、性能、和面積?(PPA)。其將芯片設(shè)計(jì)看作強(qiáng)化學(xué)習(xí)問題，通過訓(xùn)練一個(gè)深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)?來優(yōu)化芯片布局問題。具體分為兩個(gè)步驟：一是由價(jià)值網(wǎng)絡(luò)(ValueNetwork)?來指導(dǎo)策略網(wǎng)絡(luò)(PolicyNetwork)的訓(xùn)練，使得策略網(wǎng)絡(luò)給出當(dāng)前宏單元的?最優(yōu)布局策略，然后由訓(xùn)練好的策略網(wǎng)絡(luò)來指導(dǎo)芯片所有的宏單元按大小順序依次放置；二是在所有宏單元布局完成后，通過力導(dǎo)向方法完成標(biāo)準(zhǔn)單元的布?局，從而完成網(wǎng)表到芯片畫布的映射。實(shí)驗(yàn)結(jié)果表明，對(duì)比最先進(jìn)的基準(zhǔn)模型，?此方法能在谷歌的TPU上實(shí)現(xiàn)更優(yōu)越的PPA。更重要的是，它能夠在6小時(shí)?內(nèi)生成優(yōu)于或可與人類專業(yè)的芯片設(shè)計(jì)師設(shè)計(jì)相媲美的芯片布局。

然而，深度強(qiáng)化學(xué)習(xí)中的價(jià)值網(wǎng)絡(luò)常受到災(zāi)難性干擾現(xiàn)象的影響。即價(jià)值?網(wǎng)絡(luò)對(duì)于不同的狀態(tài)的輸入進(jìn)行反向傳播在相同的神經(jīng)元上作用，從而覆寫過?往學(xué)習(xí)的參數(shù)，使得網(wǎng)絡(luò)遺忘對(duì)過往批次數(shù)據(jù)的學(xué)習(xí)，導(dǎo)致對(duì)價(jià)值函數(shù)近似估?計(jì)偏差大，進(jìn)而影響策略網(wǎng)絡(luò)生成當(dāng)前芯片宏單元布局策略的準(zhǔn)確性。因此，?如何緩解價(jià)值網(wǎng)絡(luò)參數(shù)學(xué)習(xí)的災(zāi)難性干擾的問題，提高基于深度強(qiáng)化學(xué)習(xí)的北斗導(dǎo)航芯片設(shè)計(jì)的準(zhǔn)確性和魯棒性，在人工智能芯片設(shè)計(jì)領(lǐng)域是一個(gè)迫切需要?解決的問題。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種基于稀疏表示驅(qū)動(dòng)的深度強(qiáng)化學(xué)習(xí)的北斗導(dǎo)航?芯片設(shè)計(jì)方法，基于稀疏表示的價(jià)值網(wǎng)絡(luò)緩解價(jià)值網(wǎng)絡(luò)參數(shù)學(xué)習(xí)的災(zāi)難性干擾?的問題，提高基于深度強(qiáng)化學(xué)習(xí)的北斗導(dǎo)航芯片設(shè)計(jì)的準(zhǔn)確性和魯棒性。

為實(shí)現(xiàn)上述目的，本發(fā)明提供了如下方案：

一種基于稀疏表示驅(qū)動(dòng)的深度強(qiáng)化學(xué)習(xí)的北斗導(dǎo)航芯片設(shè)計(jì)方法，包括：

基于芯片的宏單元特征與網(wǎng)表圖信息得到圖嵌入和當(dāng)前宏單元嵌入；

將芯片的網(wǎng)表元數(shù)據(jù)經(jīng)過第一全連接網(wǎng)絡(luò)得到網(wǎng)表元數(shù)據(jù)嵌入；

將所述圖嵌入、所述當(dāng)前宏單元嵌入和所述網(wǎng)表元數(shù)據(jù)嵌入經(jīng)過所述第二?全連接網(wǎng)絡(luò)得到三維的狀態(tài)空間；

對(duì)價(jià)值網(wǎng)絡(luò)最后一層隱藏層的神經(jīng)元添加正則子進(jìn)行稀疏約束，得到基?于稀疏表示的價(jià)值網(wǎng)絡(luò)；