[發(fā)明專利]神經(jīng)網(wǎng)絡(luò)的生成、圖像處理、智能行駛控制方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202010075144.9
• 申請(qǐng)日: 2020-01-22
• 公開（公告）號(hào): CN111291866A
• 公開（公告）日: 2020-06-16
• 發(fā)明（設(shè)計(jì)）人: 俞海寶;韓琪;李建波;程光亮
• 申請(qǐng)（專利權(quán)）人: 上海商湯臨港智能科技有限公司
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/08;G06K9/62
• 代理公司: 北京中知法苑知識(shí)產(chǎn)權(quán)代理有限公司 11226
• 代理人: 李明

本公開提供一種神經(jīng)網(wǎng)絡(luò)的生成、圖像處理、智能行駛控制方法及裝置，在生成待壓縮的超神經(jīng)網(wǎng)絡(luò)后，通過獲取的樣本圖像對(duì)超神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并在對(duì)超神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練的過程中，基于樣本圖像的預(yù)測(cè)結(jié)果、標(biāo)注結(jié)果、表征超神經(jīng)網(wǎng)絡(luò)中各層網(wǎng)絡(luò)中每個(gè)子網(wǎng)絡(luò)的重要性程度的指標(biāo)值、超神經(jīng)網(wǎng)絡(luò)中各層網(wǎng)絡(luò)對(duì)應(yīng)的不同子網(wǎng)絡(luò)的網(wǎng)絡(luò)內(nèi)參數(shù)、以及計(jì)算代價(jià)約束條件，生成損失信息，并基于損失信息，調(diào)整超神經(jīng)網(wǎng)絡(luò)中的不同子網(wǎng)絡(luò)的網(wǎng)絡(luò)內(nèi)參數(shù)，以及表征每個(gè)子網(wǎng)絡(luò)的重要性程度的指標(biāo)值，進(jìn)而能夠基于計(jì)算代價(jià)約束條件的限制來確定損失函數(shù)，使得神經(jīng)網(wǎng)絡(luò)的篩選過程限制在基于計(jì)算代價(jià)約束條件限制的有效空間內(nèi)，進(jìn)而提升了對(duì)待壓縮的超神經(jīng)網(wǎng)絡(luò)的壓縮效率。

技術(shù)領(lǐng)域

本公開涉及圖像處理技術(shù)領(lǐng)域，具體而言，涉及一種神經(jīng)網(wǎng)絡(luò)的生成、圖像處理、智能行駛控制方法及裝置。

背景技術(shù)

隨著神經(jīng)網(wǎng)絡(luò)在各個(gè)領(lǐng)域的廣泛應(yīng)用，推動(dòng)了一系列智能產(chǎn)品的落地。為了讓神經(jīng)網(wǎng)絡(luò)具有更好的效果，神經(jīng)網(wǎng)絡(luò)的層數(shù)不斷增加，每層神經(jīng)網(wǎng)絡(luò)中的參數(shù)也越來越多，例如圖像處理神經(jīng)網(wǎng)絡(luò)中，為了提取到圖像中更多的特征，每層神經(jīng)網(wǎng)絡(luò)往往需要通過數(shù)十個(gè)卷積核來對(duì)圖像進(jìn)行卷積處理。這造成基于神經(jīng)網(wǎng)絡(luò)的產(chǎn)品大多非常依賴良好的運(yùn)行環(huán)境，造成待壓縮神經(jīng)網(wǎng)絡(luò)的應(yīng)用范圍受到限制，例如在將待壓縮神經(jīng)網(wǎng)絡(luò)應(yīng)用于自動(dòng)駕駛領(lǐng)域時(shí)，需要將待壓縮神經(jīng)網(wǎng)絡(luò)部署在現(xiàn)場(chǎng)可編程門陣列(Field Programmable GateArray，F(xiàn)PGA)等邊緣設(shè)備，這些設(shè)備往往并不具有大型待壓縮神經(jīng)網(wǎng)絡(luò)所需要的運(yùn)行環(huán)境。為了實(shí)現(xiàn)待壓縮神經(jīng)網(wǎng)絡(luò)的嵌入式應(yīng)用，需要將待壓縮神經(jīng)網(wǎng)絡(luò)的體積壓縮到一定范圍以下。

量化法是當(dāng)前一種常見的神經(jīng)網(wǎng)絡(luò)壓縮方法。該方法能夠?qū)⒋龎嚎s神經(jīng)網(wǎng)絡(luò)從浮點(diǎn)精度神經(jīng)網(wǎng)絡(luò)量化到固定精度神經(jīng)網(wǎng)絡(luò)，也即通過減少表示待壓縮神經(jīng)網(wǎng)絡(luò)中各個(gè)網(wǎng)絡(luò)層中各個(gè)網(wǎng)絡(luò)內(nèi)參數(shù)的比特bit位，以減少待壓縮神經(jīng)網(wǎng)絡(luò)在使用過程中所需要的計(jì)算資源和數(shù)據(jù)帶寬，降低待壓縮神經(jīng)網(wǎng)絡(luò)所需要的運(yùn)行環(huán)境要求。但當(dāng)前的量化法對(duì)待壓縮神經(jīng)網(wǎng)絡(luò)進(jìn)行壓縮時(shí)需要的時(shí)間較久，造成壓縮效率較低。

發(fā)明內(nèi)容

本公開實(shí)施例至少提供一種神經(jīng)網(wǎng)絡(luò)的生成、圖像處理、智能行駛控制方法及裝置。

第一方面，本公開實(shí)施例提供了一種神經(jīng)網(wǎng)絡(luò)的生成方法，該方法包括：生成待壓縮的超神經(jīng)網(wǎng)絡(luò)；所述超神經(jīng)網(wǎng)絡(luò)包括多層網(wǎng)絡(luò)中每層網(wǎng)絡(luò)分別對(duì)應(yīng)的多個(gè)子網(wǎng)絡(luò)；其中，同一層網(wǎng)絡(luò)所對(duì)應(yīng)的不同子網(wǎng)絡(luò)的網(wǎng)絡(luò)內(nèi)參數(shù)的比特位數(shù)不同；按照以下方式對(duì)所述超神經(jīng)網(wǎng)絡(luò)進(jìn)行多輪訓(xùn)練中的每一輪訓(xùn)練，并基于多輪訓(xùn)練后的所述超神經(jīng)網(wǎng)絡(luò)，生成所述壓縮后的神經(jīng)網(wǎng)絡(luò)：將獲取的樣本圖像輸入至當(dāng)前超神經(jīng)網(wǎng)絡(luò)進(jìn)行處理，得到所述樣本圖像對(duì)應(yīng)的預(yù)測(cè)結(jié)果；基于所述樣本圖像的預(yù)測(cè)結(jié)果、標(biāo)注結(jié)果、表征當(dāng)前超神經(jīng)網(wǎng)絡(luò)中各層網(wǎng)絡(luò)中每個(gè)子網(wǎng)絡(luò)的重要性程度的指標(biāo)值、當(dāng)前超神經(jīng)網(wǎng)絡(luò)中各層網(wǎng)絡(luò)所對(duì)應(yīng)的不同子網(wǎng)絡(luò)的網(wǎng)絡(luò)內(nèi)參數(shù)、以及計(jì)算代價(jià)約束條件，生成損失信息，并基于所述損失信息，調(diào)整當(dāng)前超神經(jīng)網(wǎng)絡(luò)中的所述不同子網(wǎng)絡(luò)的網(wǎng)絡(luò)內(nèi)參數(shù)、以及表征所述每個(gè)子網(wǎng)絡(luò)的重要性程度的指標(biāo)值。

這樣，在生成超神經(jīng)網(wǎng)絡(luò)后，通過獲取的樣本圖像對(duì)超神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并在對(duì)超神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練的過程中，基于樣本圖像的預(yù)測(cè)結(jié)果、標(biāo)注結(jié)果、表征超神經(jīng)網(wǎng)絡(luò)中各層網(wǎng)絡(luò)中每個(gè)子網(wǎng)絡(luò)的重要性程度的指標(biāo)值、超神經(jīng)網(wǎng)絡(luò)中各層網(wǎng)絡(luò)對(duì)應(yīng)的不同子網(wǎng)絡(luò)的網(wǎng)絡(luò)內(nèi)參數(shù)、以及計(jì)算代價(jià)約束條件，生成損失信息，并基于所述損失信息，調(diào)整超神經(jīng)網(wǎng)絡(luò)中的不同子網(wǎng)絡(luò)的網(wǎng)絡(luò)內(nèi)參數(shù)、以及表征每個(gè)子網(wǎng)絡(luò)的重要性程度的指標(biāo)值，進(jìn)而能夠基于計(jì)算代價(jià)約束條件的限制來確定損失函數(shù)，使得對(duì)超神經(jīng)網(wǎng)絡(luò)中子網(wǎng)絡(luò)的篩選過程限制在基于計(jì)算代價(jià)約束條件限制的有效空間內(nèi)，使得篩選量化方案的過程不需要考慮不滿足計(jì)算代價(jià)約束條件的方案，能夠更快的從多種量化方案中篩選得到最終量化方案，進(jìn)而提升了對(duì)待壓縮的神經(jīng)網(wǎng)絡(luò)的壓縮效率。