[發明專利]網絡模型確定方法、裝置、電子設備及可讀存儲介質

在審

• 申請號: 202111075279.6
• 申請日: 2021-09-14
• 公開（公告）號: CN113869491A
• 公開（公告）日: 2021-12-31
• 發明（設計）人: 黃心憶;彭博;楊子偉;李哲暘;譚文明;任燁
• 申請（專利權）人: 杭州?？低晹底旨夹g股份有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 楊春香

1.一種網絡模型確定方法，其特征在于，包括：

依據預設搜索空間構建超網絡；

依據所述超網絡，分別訓練得到浮點超網絡、浮點比特超網絡、N1/N2比特超網絡；其中，N1、N2為正整數；

依據所述浮點超網絡、浮點比特超網絡、N1/N2比特超網絡，進行模型結構和混合比特聯合搜索，確定最終模型結構和量化比特；其中，所述浮點超網絡用于確定模型結構，所述浮點比特超網絡用于確定量化比特，所述N1/N2比特超網絡用于確定不同模型結構和/或不同量化比特的子網絡的性能。

2.根據權利要求1所述的方法，其特征在于，所述依據所述超網絡，分別訓練得到浮點超網絡、浮點比特超網絡、N1/N2比特超網絡，包括：

對所述超網絡進行浮點訓練，得到浮點超網絡；

為所述浮點超網絡的各可量化結構分別添加可訓練量化超參，并通過量化訓練，得到浮點比特超網絡；其中，所述浮點超網絡的可量化結構包括所述浮點網絡的卷積層的權值或輸入、或所述浮點網絡的全連接層的權值或輸入；

以及，為所述浮點超網絡各可量化結構分別添加N1/N2比特的量化分支，并通過量化訓練，得到N1/N2比特超網絡。

3.根據權利要求1所述的方法，其特征在于，所述依據所述浮點超網絡、浮點比特超網絡、N1/N2比特超網絡，進行模型結構和混合比特聯合搜索，確定最終模型結構和量化比特，包括：

依據所述浮點超網絡以及所述浮點比特超網絡進行模型結構和混合比特聯合搜索，分別確定多個個體的模型結構和量化比特；其中，不同個體表征不同模型結構和/或不同量化比特的子網絡；

依據所述N1/N2比特超網絡確定各個體的性能排序，并依據性能排序進行迭代搜索，得到最終模型結構和量化比特。

4.根據權利要求3所述的方法，其特征在于，所述依據所述浮點超網絡以及所述浮點比特超網絡進行模型結構和混合比特聯合搜索，分別確定多個個體的模型結構和量化比特，包括：

對于依據所述浮點超網絡得到的任一模型結構的個體，依據所述浮點比特超網絡，確定該個體的各可量化結構的浮點量化比特；其中，可量化結構的浮點量化比特由該可量化結構的可訓練量化超參經過所述量化訓練得到；

依據該個體的各可量化結構的浮點量化比特，確定該各個體的各可量化結構的量化比特為N1比特或N2比特；其中，浮點量化比特更大的可量化結構的量化比特大于或等于浮點量化比特更小的可量化結構的量化比特。

5.根據權利要求4所述的方法，其特征在于，所述依據該個體的各可量化結構的浮點量化比特，確定該各個體的各可量化結構的量化比特，包括：

分別比較該個體的各可量化結構的浮點量化比特與預設閾值；

對于該個體的任一可量化結構，當該可量化結構的浮點量化比特大于所述預設閾值時，確定該可量化結構的量化比特為N2比特；否則，確定該可量化結構的量化比特為N1比特；N1＜N2。

6.根據權利要求5所述的方法，其特征在于，所述依據所述N1/N2比特超網絡確定各個體的性能排序，包括：

對于任一個體，依據該個體的模型結構和量化比特，確定所述N1/N2比特超網絡中，與該個體的模型結構和量化比特均相同的目標子網絡；

依據各個體對應的目標子網絡的性能排序，確定各個體的性能排序；

所述依據性能排序進行迭代搜索，包括：

依據當前輪次中性能從高到低排序的前K個個體，進行下一輪次的搜索，K為正整數。

7.一種網絡模型確定裝置，其特征在于，包括：

構建單元，用于依據預設搜索空間構建超網絡；

訓練單元，用于依據所述超網絡，分別訓練得到浮點超網絡、浮點比特超網絡、N1/N2比特超網絡；其中，N1、N2為正整數；

搜索單元，用于依據所述浮點超網絡、浮點比特超網絡、N1/N2比特超網絡，進行模型結構和混合比特聯合搜索，確定最終模型結構和量化比特；其中，所述浮點超網絡用于確定模型結構，所述浮點比特超網絡用于確定量化比特，所述N1/N2比特超網絡用于確定不同模型結構和/或不同量化比特的子網絡的性能。