[發(fā)明專利]深度神經(jīng)網(wǎng)絡(luò)模型壓縮訓(xùn)練方法、裝置、設(shè)備、介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010269318.5
• 申請日: 2020-04-08
• 公開（公告）號: CN111488985A
• 公開（公告）日: 2020-08-04
• 發(fā)明（設(shè)計）人: 吳慶耀;劉璟;譚明奎
• 申請（專利權(quán)）人: 華南理工大學(xué)
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 劉曉菲

本申請公開了一種深度神經(jīng)網(wǎng)絡(luò)模型壓縮訓(xùn)練方法、裝置、設(shè)備、介質(zhì)，該方法包括：獲取目標(biāo)訓(xùn)練數(shù)據(jù)集；將所述目標(biāo)訓(xùn)練數(shù)據(jù)集輸入到預(yù)先構(gòu)建的第一深度神經(jīng)網(wǎng)絡(luò)模型和第二深度神經(jīng)網(wǎng)絡(luò)模型，得到第一輸出和第二輸出；根據(jù)所述第一輸出和所述第二輸出構(gòu)建目標(biāo)損失函數(shù)；利用所述目標(biāo)損失函數(shù)對所述第一深度神經(jīng)網(wǎng)絡(luò)模型的第一全精度權(quán)重參數(shù)和所述第二深度神經(jīng)網(wǎng)絡(luò)模型的第二全精度權(quán)重參數(shù)進(jìn)行更新；利用所述第二全精度權(quán)重參數(shù)更新所述第二深度神經(jīng)網(wǎng)絡(luò)模型的量化權(quán)重參數(shù)，并在所述目標(biāo)損失函數(shù)滿足預(yù)設(shè)要求時，將所述第二深度神經(jīng)網(wǎng)絡(luò)模型作為訓(xùn)練后壓縮神經(jīng)網(wǎng)絡(luò)模型。這樣能夠減小模型的大小，降低存儲和內(nèi)存帶寬需求，降低計算代價。

技術(shù)領(lǐng)域

本申請涉及機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域，特別涉及一種深度神經(jīng)網(wǎng)絡(luò)模型壓縮訓(xùn)練方法、裝置、設(shè)備、介質(zhì)。

背景技術(shù)

在大數(shù)據(jù)集和并行計算等技術(shù)的推動下，基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)得到了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注，在多個領(lǐng)域有著比較大的突破，如圖像分類、目標(biāo)檢測、語義分割、人臉檢測和人臉識別等，然而，目前基于深度神經(jīng)網(wǎng)絡(luò)模型的算法仍然面臨許多挑戰(zhàn)。首先，雖然基于深度神經(jīng)網(wǎng)絡(luò)模型的算法在多個數(shù)據(jù)集取得較為優(yōu)異的識別率，但是目前深度神經(jīng)網(wǎng)絡(luò)模型具有巨大的參數(shù)量，從而導(dǎo)致了龐大的存儲和內(nèi)存帶寬需求，造成資源占用率太高。其次，基于深度神經(jīng)網(wǎng)路的模型有較高的計算復(fù)雜度，使得基于深度神經(jīng)網(wǎng)絡(luò)模型的算法在推理速度上難以滿足實時性需求，對實時性要求較高的設(shè)備不適用。龐大的參數(shù)量和計算量使得基于深度神經(jīng)網(wǎng)絡(luò)模型的算法難以部署到資源受限的設(shè)備中，如手機(jī)，穿戴設(shè)備和無人機(jī)等，這極大地限制了基于深度神經(jīng)網(wǎng)絡(luò)模型的算法在各個領(lǐng)域的應(yīng)用。所以如何對現(xiàn)有的深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行壓縮，是目前本領(lǐng)域技術(shù)人員亟需解決的技術(shù)問題。

發(fā)明內(nèi)容

有鑒于此，本申請的目的在于提供一種深度神經(jīng)網(wǎng)絡(luò)模型壓縮訓(xùn)練方法、裝置、設(shè)備、介質(zhì)，能夠減小模型的大小，降低存儲和內(nèi)存帶寬需求，降低計算代價，使得基于深度神經(jīng)網(wǎng)絡(luò)模型的算法能夠部署到資源受限的設(shè)備中，加快神經(jīng)網(wǎng)絡(luò)的前向傳播速度，滿足實時計算需求。其具體方案如下：

第一方面，本申請公開了一種深度神經(jīng)網(wǎng)絡(luò)模型壓縮訓(xùn)練方法，包括：

獲取目標(biāo)訓(xùn)練數(shù)據(jù)集；

將所述目標(biāo)訓(xùn)練數(shù)據(jù)集輸入到預(yù)先構(gòu)建的第一深度神經(jīng)網(wǎng)絡(luò)模型和第二深度神經(jīng)網(wǎng)絡(luò)模型，得到第一輸出和第二輸出；

根據(jù)所述第一輸出和所述第二輸出構(gòu)建目標(biāo)損失函數(shù)；

利用所述目標(biāo)損失函數(shù)對所述第一深度神經(jīng)網(wǎng)絡(luò)模型的第一全精度權(quán)重參數(shù)和所述第二深度神經(jīng)網(wǎng)絡(luò)模型的第二全精度權(quán)重參數(shù)進(jìn)行更新；

利用所述第二全精度權(quán)重參數(shù)更新所述第二深度神經(jīng)網(wǎng)絡(luò)模型的量化權(quán)重參數(shù)，并在所述目標(biāo)損失函數(shù)滿足預(yù)設(shè)要求時，將所述第二深度神經(jīng)網(wǎng)絡(luò)模型作為訓(xùn)練后壓縮神經(jīng)網(wǎng)絡(luò)模型。

可選地，所述利用所述目標(biāo)訓(xùn)練數(shù)據(jù)集對預(yù)先構(gòu)建的第一深度神經(jīng)網(wǎng)絡(luò)模型和第二深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練之前，還包括：

構(gòu)建所述第一深度神經(jīng)網(wǎng)絡(luò)模型和所述第二深度神經(jīng)網(wǎng)絡(luò)模型。

可選地，所述構(gòu)建所述第一深度神經(jīng)網(wǎng)絡(luò)模型和所述第二深度神經(jīng)網(wǎng)絡(luò)模型，包括：

構(gòu)建ResNet網(wǎng)絡(luò)分別作為所述第一深度神經(jīng)網(wǎng)絡(luò)模型和所述第二深度神經(jīng)網(wǎng)絡(luò)模型；

或，構(gòu)建PreResNet網(wǎng)絡(luò)分別作為所述第一深度神經(jīng)網(wǎng)絡(luò)模型和所述第二深度神經(jīng)網(wǎng)絡(luò)模型。

可選地，所述將所述目標(biāo)訓(xùn)練數(shù)據(jù)集輸入到預(yù)先構(gòu)建的第一深度神經(jīng)網(wǎng)絡(luò)模型和第二深度神經(jīng)網(wǎng)絡(luò)模型之前，還包括：

對所述目標(biāo)訓(xùn)練數(shù)據(jù)集進(jìn)行預(yù)處理，得到預(yù)處理后目標(biāo)訓(xùn)練數(shù)據(jù)集；

相應(yīng)的，所述將所述目標(biāo)訓(xùn)練數(shù)據(jù)集輸入到預(yù)先構(gòu)建的第一深度神經(jīng)網(wǎng)絡(luò)模型和第二深度神經(jīng)網(wǎng)絡(luò)模型，得到第一輸出和第二輸出，包括：