[發明專利]一種混合精度神經網絡的可微分搜索方法和裝置

有效

• 申請號: 202011249481.1
• 申請日: 2020-11-10
• 公開（公告）號: CN112364981B
• 公開（公告）日: 2022-11-22
• 發明（設計）人: 常成;朱雪娟;余浩;毛偉;代柳瑤;李凱;王宇航
• 申請（專利權）人: 南方科技大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 潘登

本發明公開了一種混合精度神經網絡的可微分搜索方法和裝置。所述方法包括：獲取初始化超網絡；所述超網絡包括多個子網絡，且每個子網絡攜帶有超參數；基于可微分搜索方法對所述超參數進行更新，獲得第一超網絡；對所述第一超網絡所包含的子網絡進行硬件性能評估，根據評估結果更新所述第一超網絡的超參數，獲得第二超網絡；判斷是否滿足更新終止條件，若滿足，則將所述第二超網絡確定為目標神經網絡；否則，返回執行基于可微分搜索方法對所述超參數進行更新，獲得第一超網絡的操作。利用該方法，能夠進行自動的模型量化，且可以針對特定硬件平臺進行搜索構建神經網絡。

技術領域

本發明實施例涉及計算機技術領域，尤其涉及一種混合精度神經網絡的可微分搜索方法和裝置。

背景技術

深度學習可以自動學習出有用的特征，脫離了對特征工程的依賴，在圖像識別、視頻理解和自然語言處理等任務上取得了超越其他算法的結果。這種成功很大程度上得益于新神經網絡結構的出現，如ResNet、Inception、DenseNet、MobileNet等。

神經架構搜索(Neural Architecture Search，NAS)是一種自動設計神經網絡的技術，可以通過算法根據數據集自動設計出高精度高性能的網絡結構，在某些任務上可以媲美甚至超越人類專家的水準，并可以發現某些人類之前未曾提出的網絡結構。和傳統手動設計網絡結構和超參數相比，神經架構搜索可以有效地降低神經網絡的設計和使用成本。

但是隨著實際任務復雜度的提升，需要設計架構更大且更深的神經網絡，同時還需要將模型更廣泛地部署應用在不同的硬件平臺上。另外，傳統的基于強化學習的NAS方法和進化算法的NAS方法雖然可以設計出高精度和高性能的網絡，但搜索算法本身需要耗費的計算資源過高，不利于NAS方法的大規模推廣和應用。

因此，提出一種搜索速度快、耗費計算和內存資源少、能夠自動進行模型量化、且可以針對特定硬件平臺進行搜索的神經網絡架構搜索方法是當前亟待解決的技術問題。

發明內容

本發明實施例提供了一種混合精度神經網絡的可微分搜索方法和裝置，能夠進行自動的模型量化，且可以針對特定硬件平臺進行搜索構建神經網絡。

第一方面，本發明實施例提供了一種混合精度神經網絡的可微分搜索方法，包括：

獲取初始化超網絡；所述超網絡包括多個子網絡，且每個子網絡攜帶有超參數；

基于可微分搜索方法對所述超參數進行更新，獲得第一超網絡；

對所述第一超網絡所包含的子網絡進行硬件性能評估，根據評估結果更新所述第一超網絡的超參數，獲得第二超網絡；

判斷是否滿足更新終止條件，若滿足，則將所述第二超網絡確定為目標神經網絡；否則，返回執行基于可微分搜索方法對所述超參數進行更新，獲得第一超網絡的操作。

第二方面，本發明實施例還提供了一種混合精度神經網絡的可微分搜索裝置，包括：

獲取模塊，用于獲取初始化超網絡；所述超網絡包括多個子網絡，且每個子網絡攜帶有超參數；

第一更新模塊，用于基于可微分搜索方法對所述超參數進行更新，獲得第一超網絡；

第二更新模塊，用于對所述第一超網絡所包含的子網絡進行硬件性能評估，根據評估結果更新所述第一超網絡的超參數，獲得第二超網絡；

判斷模塊，用于判斷是否滿足更新終止條件，若滿足，則將所述第二超網絡確定為目標神經網絡；否則，返回執行基于可微分搜索方法對所述超參數進行更新，獲得第一超網絡的操作。

第三方面，本發明實施例還提供了一種計算機設備，包括：

一個或多個處理器；

存儲裝置，用于存儲一個或多個程序；