[發明專利]神經網絡優化方法、裝置、電子設備及可讀存儲介質

在審

• 申請號: 202110204808.1
• 申請日: 2021-02-23
• 公開（公告）號: CN112884123A
• 公開（公告）日: 2021-06-01
• 發明（設計）人: 張凱;譚文明;李哲暘;張如意
• 申請（專利權）人: 杭州海康威視數字技術股份有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 楊春香

1.一種神經網絡優化方法，其特征在于，包括：

對待優化神經網絡進行子網劃分，并依據預設融合規則以及融合目標分別對各子網進行網絡層融合，得到各子網的最優融合結果；

依據各子網的最優融合結果、所述預設融合規則以及融合目標，對所述待優化神經網絡進行網絡層融合，得到所述待優化神經網絡的最優融合結果；其中，對于所述待優化神經網絡的最優融合結果中任一包括多個網絡層的層級，該層級的結構與目標子網的最優融合結果的結構一致，所述目標子網為與該層級包括的網絡層相同的子網。

2.根據權利要求1所述的方法，其特征在于，所述對待優化神經網絡進行子網劃分，并依據預設融合規則以及融合目標分別對各子網進行網絡層融合，包括：

分別按照多種不同子網劃分方式，對所述待優化神經網絡進行子網劃分，得到多種不同類型的子網，不同子網劃分方式下得到的子網包括的網絡層數量不同；

依據所述預設融合規則以及融合目標，分別對各最底層子網進行網絡層融合，得到各最底層子網的最優融合結果；所述最底層子網為所述多種不同類型的子網中包括的網絡層數量最少的子網；

依據底層子網的最優融合結果、所述預設融合規則以及融合目標，對高層子網進行網絡層融合，得到高層子網的最優融合結果，所述高層子網包括的網絡層數量大于所述底層子網包括的網絡層數量，對于所述高層子網的最優融合結果中任一包括多個網絡層的層級，該層級的結構與目標底層子網的最優融合結果的結構一致，該目標底層子網為與該層級包括的網絡層相同的底層子網。

3.根據權利要求2所述的方法，其特征在于，所述最底層子網包括的網絡層數量為1；所述不同子網劃分方式下得到的子網包括2層子網，2層子網包括的網絡層數量為2；最優融合結果為進出帶寬最小的融合結果；

所述依據底層子網的最優融合結果、所述預設融合規則以及融合目標，對高層子網進行網絡層融合，包括：

對于任一2層子網，分別確定該2層子網中兩個網絡層融合為一個層級的情況下該最底層子網的第一進出帶寬，以及該兩個網絡層未融合情況下該最底層子網的第二進出帶寬；

若所述第一進出帶寬小于所述第二進出帶寬，則確定該兩個網絡層融合為一個層級為該2層子網的最優融合結果；

若所述第一進出帶寬大于第二進出帶寬，則確定該網絡層未融合為該2層子網的最優融合結果。

4.根據權利要求3所述的方法，其特征在于，所述依據底層子網的最優融合結果、所述預設融合規則以及融合目標，對高層子網進行網絡層融合，得到高層子網的最優融合結果，還包括：

對于任一包括的網絡層數量為k的高層子網，依據包括的網絡層數量小于k的底層子網的最優融合結果、所述預設融合規則以及融合目標，對該高層子網進行融合，得到該高層子網的最優融合結果，2＜k＜N，N為所述待優化網絡的網絡層數量。

5.根據權利要求4所述的方法，其特征在于，對于任一包括的網絡層數量為k的子網，對該子網進行網絡層融合的候選融合方案中，包括對至少2個網絡層，且至多m個網絡層進行融合，m≤k，且m滿足所述融合規則限制；

所述網絡層包括卷積層、非線性層、池化層、全連接層、反卷積層或上采樣層。

6.根據權利要求1-5任一項所述的方法，其特征在于，所述對待優化神經網絡進行子網劃分之前，還包括：

獲取網絡拆分配置指令；

依據所述網絡拆分配置指令，將所述待優化神經網絡拆分為至少兩個待優化部分；

所述對待優化神經網絡進行子網劃分，包括：

分別對各待優化部分進行子網劃分；

所述依據各子網的最優融合結果、所述預設融合規則以及融合目標，對所述待優化神經網絡進行網絡層融合，包括：

對于任一待優化部分，依據該待優化部分的各子網的最優融合結果，以及所述預設融合規則以及融合目標，對該待優化部分進行網絡層融合，得到該待優化部分的最優融合結果；

依據各待優化部分的最優融合結果，確定所述待優化神經網絡的最優融合結果。