[發(fā)明專利]一種神經(jīng)網(wǎng)絡(luò)的生成方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請?zhí)枺?/td>: 202111158652.4
• 申請日: 2021-09-30
• 公開（公告）號: CN113807504A
• 公開（公告）日: 2021-12-17
• 發(fā)明（設(shè)計(jì)）人: 史麗坤;胡英俊
• 申請（專利權(quán)）人: 上海陣量智能科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京中知恒瑞知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11889
• 代理人: 吳迪

本公開提供了一種神經(jīng)網(wǎng)絡(luò)的生成方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)，其中，該方法包括：獲取第一神經(jīng)網(wǎng)絡(luò)；利用量化參數(shù)對所述第一神經(jīng)網(wǎng)絡(luò)中的第一網(wǎng)絡(luò)參數(shù)進(jìn)行量化處理，得到第二神經(jīng)網(wǎng)絡(luò)；基于所述第一網(wǎng)絡(luò)參數(shù)、以及對所述第一網(wǎng)絡(luò)參數(shù)進(jìn)行量化后得到的第二網(wǎng)絡(luò)參數(shù)，確定所述第二神經(jīng)網(wǎng)絡(luò)的第一損失；基于所述第一損失調(diào)整所述量化參數(shù)，得到目標(biāo)神經(jīng)網(wǎng)絡(luò)。本公開實(shí)施例能夠在對量化參數(shù)進(jìn)行調(diào)整的同時(shí)，保證得到生成的目標(biāo)神經(jīng)網(wǎng)絡(luò)的精度，以達(dá)到兼顧量化效果和模型精度的目的。

技術(shù)領(lǐng)域

本公開涉及深度學(xué)習(xí)技術(shù)領(lǐng)域，具體而言，涉及一種神經(jīng)網(wǎng)絡(luò)的生成方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

量化法是當(dāng)前一種常見的神經(jīng)網(wǎng)絡(luò)壓縮方法。該方法能夠?qū)⑸窠?jīng)網(wǎng)絡(luò)從高精度浮點(diǎn)精度量化至低精度的浮點(diǎn)或定點(diǎn)精度，也即將神經(jīng)網(wǎng)絡(luò)中各網(wǎng)絡(luò)層中的輸入數(shù)據(jù)和參數(shù)數(shù)據(jù)由高精度浮點(diǎn)精度量化為具有固定數(shù)量比特位的低精度浮點(diǎn)或定點(diǎn)精度數(shù)據(jù)，然后對輸入數(shù)據(jù)進(jìn)行處理。

當(dāng)前的量化方法存在量化后的模型精度、和量化效果無法兼顧的問題。

發(fā)明內(nèi)容

本公開實(shí)施例至少提供一種神經(jīng)網(wǎng)絡(luò)的生成方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)。

第一方面，本公開實(shí)施例提供了一種神經(jīng)網(wǎng)絡(luò)的生成方法，包括：獲取第一神經(jīng)網(wǎng)絡(luò)；利用量化參數(shù)對所述第一神經(jīng)網(wǎng)絡(luò)中的第一網(wǎng)絡(luò)參數(shù)進(jìn)行量化處理，得到第二神經(jīng)網(wǎng)絡(luò)；基于所述第一網(wǎng)絡(luò)參數(shù)、以及對所述第一網(wǎng)絡(luò)參數(shù)進(jìn)行量化后得到的第二網(wǎng)絡(luò)參數(shù)，確定所述第二神經(jīng)網(wǎng)絡(luò)的第一損失；基于所述第一損失調(diào)整所述量化參數(shù)，得到目標(biāo)神經(jīng)網(wǎng)絡(luò)。

一種可選的實(shí)施方式中，所述量化參數(shù)包括：所述第一神經(jīng)網(wǎng)絡(luò)中各個(gè)網(wǎng)絡(luò)層的第一網(wǎng)絡(luò)參數(shù)分別對應(yīng)的第一量化比特?cái)?shù)。

一種可選的實(shí)施方式中，所述基于所述第一網(wǎng)絡(luò)參數(shù)、以及對所述第一網(wǎng)絡(luò)參數(shù)進(jìn)行量化后得到的第二網(wǎng)絡(luò)參數(shù)，確定所述第二神經(jīng)網(wǎng)絡(luò)的第一損失，包括：確定所述第一網(wǎng)絡(luò)參數(shù)、和所述第二網(wǎng)絡(luò)參數(shù)之間的結(jié)構(gòu)相似性；基于所述第一網(wǎng)絡(luò)參數(shù)、以及所述第二網(wǎng)絡(luò)參數(shù)之間的結(jié)構(gòu)相似性，確定所述第二神經(jīng)網(wǎng)絡(luò)的第一損失。

一種可選的實(shí)施方式中，所述第一網(wǎng)絡(luò)參數(shù)包括：每個(gè)網(wǎng)絡(luò)層對應(yīng)的第一網(wǎng)絡(luò)子參數(shù)；所述第二網(wǎng)絡(luò)參數(shù)包括：每個(gè)網(wǎng)絡(luò)層對應(yīng)的第二網(wǎng)絡(luò)子參數(shù)；所述確定所述第一網(wǎng)絡(luò)參數(shù)、和所述第二網(wǎng)絡(luò)參數(shù)之間的結(jié)構(gòu)相似性，包括：針對每個(gè)網(wǎng)絡(luò)層，確定該網(wǎng)絡(luò)層對應(yīng)的第一網(wǎng)絡(luò)子參數(shù)和第二網(wǎng)絡(luò)子參數(shù)之間的結(jié)構(gòu)相似性；所述基于所述第一網(wǎng)絡(luò)參數(shù)、以及所述第二網(wǎng)絡(luò)參數(shù)之間的結(jié)構(gòu)相似性，確定所述第二神經(jīng)網(wǎng)絡(luò)的第一損失，包括：基于各網(wǎng)絡(luò)層分別對應(yīng)的結(jié)構(gòu)相似性，確定第二神經(jīng)網(wǎng)絡(luò)的第一損失。

一種可選的實(shí)施方式中，所述基于所述第一損失調(diào)整所述量化參數(shù)，得到目標(biāo)神經(jīng)網(wǎng)絡(luò)，包括：利用所述第二神經(jīng)網(wǎng)絡(luò)對樣本數(shù)據(jù)進(jìn)行處理，得到第二損失；基于所述第一損失和所述第二損失，確定模型損失；將所述模型損失和預(yù)設(shè)的損失閾值進(jìn)行比對，并基于比對的結(jié)果，調(diào)整所述量化參數(shù)，得到目標(biāo)神經(jīng)網(wǎng)絡(luò)。

一種可選的實(shí)施方式中，所述量化參數(shù)還包括：所述第一神經(jīng)網(wǎng)絡(luò)中各個(gè)網(wǎng)絡(luò)層的輸入數(shù)據(jù)和/或輸出數(shù)據(jù)分別對應(yīng)的第二量化比特?cái)?shù)；所述方法還包括：利用所述第一神經(jīng)網(wǎng)絡(luò)對樣本數(shù)據(jù)進(jìn)行處理，得到所述樣本數(shù)據(jù)在所述第一神經(jīng)網(wǎng)絡(luò)中的目標(biāo)網(wǎng)絡(luò)層的第一特征數(shù)據(jù)；以及利用所述第二神經(jīng)網(wǎng)絡(luò)、以及所述第二量化比特?cái)?shù)對樣本數(shù)據(jù)進(jìn)行處理，得到所述樣本數(shù)據(jù)在所述第二神經(jīng)網(wǎng)絡(luò)中的目標(biāo)網(wǎng)絡(luò)層的第二特征數(shù)據(jù)；基于所述第一特征數(shù)據(jù)、以及所述第二特征數(shù)據(jù)，確定第三損失；所述基于所述第一損失調(diào)整所述量化參數(shù)，得到目標(biāo)神經(jīng)網(wǎng)絡(luò)，包括：基于所述第一損失、以及所述第三損失調(diào)整所述量化參數(shù)，生成所述目標(biāo)神經(jīng)網(wǎng)絡(luò)。

一種可選的實(shí)施方式中，所述基于所述第一特征數(shù)據(jù)、以及所述第二特征數(shù)據(jù)，確定第三損失，包括：確定所述第一特征數(shù)據(jù)、以及所述第二特征數(shù)據(jù)之間的結(jié)構(gòu)相似性；基于所述第一特征數(shù)據(jù)、以及所述第二特征數(shù)據(jù)之間的結(jié)構(gòu)相似性，確定所述第二神經(jīng)網(wǎng)絡(luò)的第三損失。