[發(fā)明專利]一種神經(jīng)網(wǎng)絡(luò)的生成方法、裝置、計(jì)算機(jī)設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202111158652.4
• 申請日: 2021-09-30
• 公開（公告）號: CN113807504A
• 公開（公告）日: 2021-12-17
• 發(fā)明（設(shè)計(jì)）人: 史麗坤;胡英俊
• 申請（專利權(quán)）人: 上海陣量智能科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京中知恒瑞知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11889
• 代理人: 吳迪

1.一種神經(jīng)網(wǎng)絡(luò)的生成方法，其特征在于，包括：

獲取第一神經(jīng)網(wǎng)絡(luò)；

利用量化參數(shù)對所述第一神經(jīng)網(wǎng)絡(luò)中的第一網(wǎng)絡(luò)參數(shù)進(jìn)行量化處理，得到第二神經(jīng)網(wǎng)絡(luò)；

基于所述第一網(wǎng)絡(luò)參數(shù)、以及對所述第一網(wǎng)絡(luò)參數(shù)進(jìn)行量化后得到的第二網(wǎng)絡(luò)參數(shù)，確定所述第二神經(jīng)網(wǎng)絡(luò)的第一損失；

基于所述第一損失調(diào)整所述量化參數(shù)，得到目標(biāo)神經(jīng)網(wǎng)絡(luò)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述量化參數(shù)包括：所述第一神經(jīng)網(wǎng)絡(luò)中各個(gè)網(wǎng)絡(luò)層的第一網(wǎng)絡(luò)參數(shù)分別對應(yīng)的第一量化比特?cái)?shù)。

3.根據(jù)權(quán)利要求1或2所述方法，其特征在于，所述基于所述第一網(wǎng)絡(luò)參數(shù)、以及對所述第一網(wǎng)絡(luò)參數(shù)進(jìn)行量化后得到的第二網(wǎng)絡(luò)參數(shù)，確定所述第二神經(jīng)網(wǎng)絡(luò)的第一損失，包括：

確定所述第一網(wǎng)絡(luò)參數(shù)、和所述第二網(wǎng)絡(luò)參數(shù)之間的結(jié)構(gòu)相似性；

基于所述第一網(wǎng)絡(luò)參數(shù)、以及所述第二網(wǎng)絡(luò)參數(shù)之間的結(jié)構(gòu)相似性，確定所述第二神經(jīng)網(wǎng)絡(luò)的第一損失。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述第一網(wǎng)絡(luò)參數(shù)包括：每個(gè)網(wǎng)絡(luò)層對應(yīng)的第一網(wǎng)絡(luò)子參數(shù)；所述第二網(wǎng)絡(luò)參數(shù)包括：每個(gè)網(wǎng)絡(luò)層對應(yīng)的第二網(wǎng)絡(luò)子參數(shù)；

所述確定所述第一網(wǎng)絡(luò)參數(shù)、和所述第二網(wǎng)絡(luò)參數(shù)之間的結(jié)構(gòu)相似性，包括：

針對每個(gè)網(wǎng)絡(luò)層，確定該網(wǎng)絡(luò)層對應(yīng)的第一網(wǎng)絡(luò)子參數(shù)和第二網(wǎng)絡(luò)子參數(shù)之間的結(jié)構(gòu)相似性；

所述基于所述第一網(wǎng)絡(luò)參數(shù)、以及所述第二網(wǎng)絡(luò)參數(shù)之間的結(jié)構(gòu)相似性，確定所述第二神經(jīng)網(wǎng)絡(luò)的第一損失，包括：

基于各網(wǎng)絡(luò)層分別對應(yīng)的結(jié)構(gòu)相似性，確定第二神經(jīng)網(wǎng)絡(luò)的第一損失。

5.根據(jù)權(quán)利要求1-4任一項(xiàng)所述的方法，其特征在于，所述基于所述第一損失調(diào)整所述量化參數(shù)，得到目標(biāo)神經(jīng)網(wǎng)絡(luò)，包括：

利用所述第二神經(jīng)網(wǎng)絡(luò)對樣本數(shù)據(jù)進(jìn)行處理，得到第二損失；

基于所述第一損失和所述第二損失，確定模型損失；

將所述模型損失和預(yù)設(shè)的損失閾值進(jìn)行比對，并基于比對的結(jié)果，調(diào)整所述量化參數(shù)，得到目標(biāo)神經(jīng)網(wǎng)絡(luò)。

6.根據(jù)權(quán)利要求1-5任一項(xiàng)所述的方法，其特征在于，所述量化參數(shù)還包括：所述第一神經(jīng)網(wǎng)絡(luò)中各個(gè)網(wǎng)絡(luò)層的輸入數(shù)據(jù)和/或輸出數(shù)據(jù)分別對應(yīng)的第二量化比特?cái)?shù)；

所述方法還包括：

利用所述第一神經(jīng)網(wǎng)絡(luò)對樣本數(shù)據(jù)進(jìn)行處理，得到所述樣本數(shù)據(jù)在所述第一神經(jīng)網(wǎng)絡(luò)中的目標(biāo)網(wǎng)絡(luò)層的第一特征數(shù)據(jù)；以及

利用所述第二神經(jīng)網(wǎng)絡(luò)、以及所述第二量化比特?cái)?shù)對樣本數(shù)據(jù)進(jìn)行處理，得到所述樣本數(shù)據(jù)在所述第二神經(jīng)網(wǎng)絡(luò)中的目標(biāo)網(wǎng)絡(luò)層的第二特征數(shù)據(jù)；

基于所述第一特征數(shù)據(jù)、以及所述第二特征數(shù)據(jù)，確定第三損失；

所述基于所述第一損失調(diào)整所述量化參數(shù)，得到目標(biāo)神經(jīng)網(wǎng)絡(luò)，包括：

基于所述第一損失、以及所述第三損失調(diào)整所述量化參數(shù)，生成所述目標(biāo)神經(jīng)網(wǎng)絡(luò)。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述基于所述第一特征數(shù)據(jù)、以及所述第二特征數(shù)據(jù)，確定第三損失，包括：

確定所述第一特征數(shù)據(jù)、以及所述第二特征數(shù)據(jù)之間的結(jié)構(gòu)相似性；

基于所述第一特征數(shù)據(jù)、以及所述第二特征數(shù)據(jù)之間的結(jié)構(gòu)相似性，確定所述第二神經(jīng)網(wǎng)絡(luò)的第三損失。