[發明專利]用于搜索目標模型的方法、裝置和計算設備

有效

• 申請號: 202210935432.6
• 申請日: 2022-08-05
• 公開（公告）號: CN115017377B
• 公開（公告）日: 2022-11-08
• 發明（設計）人: 陳志軒;楊敏;楊作興;艾國
• 申請（專利權）人: 深圳比特微電子科技有限公司
• 主分類號: G06F16/903
• 分類號: G06F16/903;G06N3/04;G06N3/08
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 於菪珉

本公開涉及一種用于搜索目標模型的方法、裝置和計算設備。該方法包括：構建超網絡；分別對超網絡的最大子網絡和最小子網絡進行訓練，以產生經訓練的最大子網絡和經訓練的最小子網絡；基于經訓練的最大子網絡和經訓練的最小子網絡，對超網絡的第一預設數目的第一子網絡進行訓練；以及在經訓練的超網絡中進行搜索以確定符合目標硬件設備的性能參數條件的目標量化子網絡的量化網絡結構，并根據目標量化子網絡產生目標模型。

技術領域

本公開涉及機器學習技術領域，更具體地，涉及一種用于搜索目標模型的方法、裝置和計算設備。

背景技術

近年來，隨著深度學習的大規模落地，神經網絡可以被搭載在各種各樣的硬件設備或平臺上。一方面，考慮到硬件設備或平臺中不同的AI協處理器的不同算力情況，神經網絡的架構設計需要“因地制宜”。具體而言，在搜索神經網絡結構的研究中，需要考慮硬件上的特殊限制，包括例如延遲、計算量、參數量、芯片面積等等。另一方面，為了滿足計算速度的需求，在神經網絡落地時可以將全精度模型轉換為量化模型，通過搜索確定合適的量化位寬，可以在提高神經網絡模型的計算速度的同時，將精度損失控制在合理的范圍內。由此可見，有必要將上述對神經網絡的結構的搜索和對神經網絡的量化位寬的搜索結合起來，以滿足不同的硬件設備或平臺的需求。然而，這種搜索量通常會隨著硬件設備或平臺的數量的增加而線性地增加，導致搜索時間和搜索成本的大幅升高。

發明內容

本公開的目的之一在于提供一種用于搜索目標模型的方法、裝置和計算設備，以提高神經網絡的結構和量化位寬的搜索效率，降低搜索成本。

根據本公開的第一方面，提供了一種用于搜索被配置為在目標硬件設備上運行的目標模型的方法，所述方法包括：

構建超網絡，其中，所述超網絡的多個網絡結構參數中的每個網絡結構參數的值被選擇為候選參數空間中該網絡結構參數的最大值，所述超網絡的子網絡的多個網絡結構參數中的每個網絡結構參數的值被選擇為所述候選參數空間中該網絡結構參數的任一值；

分別對所述超網絡的最大子網絡和最小子網絡進行訓練，以產生經訓練的最大子網絡和經訓練的最小子網絡，其中，所述最大子網絡為所述超網絡，所述最小子網絡的多個網絡結構參數中的每個網絡結構參數的值被選擇為所述候選參數空間中該網絡結構參數的最小值；

基于所述經訓練的最大子網絡和所述經訓練的最小子網絡，對所述超網絡的第一預設數目的第一子網絡進行訓練，其中，所述第一子網絡不同于所述最大子網絡和所述最小子網絡；以及，

在所述經訓練的超網絡中進行搜索以確定符合所述目標硬件設備的性能參數條件的目標量化子網絡的量化網絡結構，并根據所述目標量化子網絡產生目標模型，其中，量化網絡結構包括與量化子網絡相應的子網絡的多個網絡結構參數和所述量化子網絡的量化參數。

在一些實施例中，所述多個網絡結構參數包括卷積核尺寸、階段深度和通道擴張比例系數中的至少一者。

在一些實施例中，對所述最大子網絡的訓練和對所述最小子網絡的訓練是彼此獨立進行的。

在一些實施例中，基于所述經訓練的最大子網絡和所述經訓練的最小子網絡，對所述超網絡的第一預設數目的第一子網絡進行訓練包括：

對所述超網絡進行隨機采樣以獲取第一預設數目的第一子網絡；以及，

針對每個第一子網絡，將所述經訓練的最小子網絡的參數作為所述第一子網絡的相應的參數的初始化值，并將所述經訓練的最大子網絡作為所述第一子網絡的教師網絡，對作為學生網絡的所述第一子網絡進行蒸餾訓練。

在一些實施例中，將所述經訓練的最小子網絡的參數作為所述第一子網絡的相應的參數的初始化值，并將所述經訓練的最大子網絡作為所述第一子網絡的教師網絡，對作為學生網絡的所述第一子網絡進行蒸餾訓練包括：