[發明專利]網絡模型確定方法、裝置、電子設備及可讀存儲介質

在審

• 申請號: 202111075279.6
• 申請日: 2021-09-14
• 公開（公告）號: CN113869491A
• 公開（公告）日: 2021-12-31
• 發明（設計）人: 黃心憶;彭博;楊子偉;李哲暘;譚文明;任燁
• 申請（專利權）人: 杭州海康威視數字技術股份有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 楊春香

本申請提供一種網絡模型確定方法、裝置、電子設備及可讀存儲介質，該方法包括：依據預設搜索空間構建超網絡；依據所述超網絡，分別訓練得到浮點超網絡、浮點比特超網絡、N1/N2比特超網絡；其中，N1、N2為正整數；依據所述浮點超網絡、浮點比特超網絡、N1/N2比特超網絡，進行模型結構和混合比特聯合搜索，確定最終模型結構和量化比特。該方法可以在優化所確定的最終網絡模型的性能的情況下，減少搜索空間，提高搜索效率。

技術領域

本申請涉及深度學習技術領域，尤其涉及一種網絡模型確定方法、裝置、電子設備及可讀存儲介質。

背景技術

目前，深度學習技術在很多領域都取得了重要的成果，而神經網絡結構設計對其性能起著決定性作用。人工設計的模型結構，需要領域專家根據經驗設計，對設計者的專業能力和經驗有著很高的要求，設計成本較高。

近年來，模型結構搜索(Neural Architecture Search，簡稱NAS)成為一個研究熱點，通過自動搜索得到給定限制下的高效模型結構。

如何自動搜索得到更優的網絡模型結構成為一個亟待解決的技術問題。

發明內容

有鑒于此，本申請提供一種網絡模型確定方法、裝置、電子設備及可讀存儲介質，以優化自動搜索得到的網絡模型的性能。

具體地，本申請是通過如下技術方案實現的：

根據本申請實施例的第一方面，提供一種網絡模型確定方法，包括：

依據預設搜索空間構建超網絡；

依據所述超網絡，分別訓練得到浮點超網絡、浮點比特超網絡、N1/N2比特超網絡；其中，N1、N2為正整數；

依據所述浮點超網絡、浮點比特超網絡、N1/N2比特超網絡，進行模型結構和混合比特聯合搜索，確定最終模型結構和量化比特；其中，所述浮點超網絡用于確定模型結構，所述浮點比特超網絡用于確定量化比特，所述N1/N2比特超網絡用于確定不同模型結構和/或不同量化比特的子網絡的性能。

根據本申請實施例的第二方面，提供一種網絡模型確定裝置，包括：

構建單元，用于依據預設搜索空間構建超網絡；

訓練單元，用于依據所述超網絡，分別訓練得到浮點超網絡、浮點比特超網絡、N1/N2比特超網絡；其中，N1、N2為正整數；

搜索單元，用于依據所述浮點超網絡、浮點比特超網絡、N1/N2比特超網絡，進行模型結構和混合比特聯合搜索，確定最終模型結構和量化比特；其中，所述浮點超網絡用于確定模型結構，所述浮點比特超網絡用于確定量化比特，所述N1/N2比特超網絡用于確定不同模型結構和/或不同量化比特的子網絡的性能。

根據本申請實施例的第三方面，提供一種電子設備，包括處理器和機器可讀存儲介質，所述機器可讀存儲介質存儲有能夠被所述處理器執行的機器可執行指令，所述處理器用于執行機器可執行指令，以實現上述網絡模型確定方法。

根據本申請實施例的第四方面，提供一種機器可讀存儲介質，所述機器可讀存儲介質內存儲有機器可執行指令，所述機器可執行指令被處理器執行時實現上述網絡模型確定方法。

本申請提供的技術方案至少可以帶來以下有益效果：

通過依據預設搜索空間構建的超網絡，并依據該超網絡分別訓練得到浮點超網絡、浮點比特超網絡、N1/N2比特超網絡，由浮點超網絡提供模型結構、由浮點比特超網絡提供量化比特，以及由N1/N2比特超網絡提供不同模型結構和/或不同量化比特的子網絡的性能，依據浮點超網絡、浮點比特超網絡、N1/N2比特超網絡，進行模型結構和混合比特聯合搜索，確定最終模型結構和量化比特，在優化所確定的最終網絡模型的性能的情況下，減少了搜索空間，提高了搜索效率。

附圖說明