[發明專利]一種神經網絡模型確定方法及裝置

有效

• 申請號: 201811307230.7
• 申請日: 2018-11-05
• 公開（公告）號: CN111144561B
• 公開（公告）日: 2023-05-02
• 發明（設計）人: 張淵;謝迪;浦世亮
• 申請（專利權）人: 杭州海康威視數字技術股份有限公司
• 主分類號: G06N3/082
• 分類號: G06N3/082
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 丁蕓;項京

1.一種神經網絡模型確定方法，其特征在于，所述方法包括：

獲取目標任務的任務配置參數、訓練資源的資源配置參數、模型設計配置參數以及模型壓縮配置參數；

基于所述任務配置參數、所述資源配置參數及所述模型設計配置參數，生成針對所述目標任務的初始神經網絡模型；

根據所述模型壓縮配置參數，選擇相應的預設壓縮方式，對所述初始神經網絡模型進行壓縮處理，得到待部署的神經網絡模型。

2.根據權利要求1所述的方法，其特征在于，所述任務配置參數，包括：任務類型；所述資源配置參數，包括：訓練數據以及算力資源；

所述基于所述任務配置參數、所述資源配置參數及所述模型設計配置參數，生成針對所述目標任務的初始神經網絡模型，包括：

根據所述模型設計配置參數，確定神經網絡模型的搜索空間及搜索策略；

根據所述任務類型及所述算力資源，從所述搜索空間中，確定神經網絡模型的各網絡層內部初始結構及網絡層間初始結構，并從所述搜索策略中，確定各網絡層內部訓練方式及網絡層間訓練方式；

從所有訓練數據中提取預設數量的訓練數據，組成小數據集；

根據各網絡層內部初始結構，基于所述小數據集，采用對應的網絡層內部訓練方式，訓練得到各網絡層內部結構模型；

根據所述網絡層間初始結構，連接各網絡層內部結構模型，得到待訓練神經網絡模型；

根據所述待訓練神經網絡模型，基于大數據集，采用所述網絡層間訓練方式，訓練得到初始神經網絡模型，其中，所述大數據集包括所有訓練數據。

3.根據權利要求1所述的方法，其特征在于，所述根據所述模型壓縮配置參數，選擇相應的預設壓縮方式，對所述初始神經網絡模型進行壓縮處理，得到待部署的神經網絡模型，包括：

對所述初始神經網絡模型進行知識遷移，得到待壓縮神經網絡模型；

根據所述模型壓縮配置參數，選擇相應的預設壓縮方式；

根據所述預設壓縮方式，對所述初始神經網絡模型進行模型壓縮自適應分析，得到壓縮量；

按照所述壓縮量，利用所述預設壓縮方式，對所述待壓縮神經網絡模型進行壓縮處理，得到待部署的神經網絡模型。

4.根據權利要求3所述的方法，其特征在于，所述預設壓縮方式，包括：模型結構化壓縮方式或模型定點壓縮方式；

所述模型壓縮配置參數，包括：待部署平臺類型；

所述根據所述模型壓縮配置參數，選擇相應的預設壓縮方式，包括：

若所述待部署平臺類型為專用集成電路ASIC平臺或現場可編程門陣列FPGA平臺，則選擇所述模型定點壓縮方式；

所述按照所述壓縮量，利用所述預設壓縮方式，對所述待壓縮神經網絡模型進行壓縮處理，得到待部署的神經網絡模型，包括：

按照所述壓縮量，利用所述模型定點壓縮方式，對所述待壓縮神經網絡模型進行壓縮處理，得到待部署的神經網絡模型。

5.根據權利要求4所述的方法，其特征在于，所述模型壓縮配置參數，還包括：精度；

所述根據所述模型壓縮配置參數，選擇相應的預設壓縮方式，包括：

若所述待部署平臺類型為圖形處理器GPU平臺、且所述精度高于預設閾值，則選擇所述模型結構化壓縮方式；

所述按照所述壓縮量，利用所述預設壓縮方式，對所述待壓縮神經網絡模型進行壓縮處理，得到待部署的神經網絡模型，包括：

按照所述壓縮量，利用所述模型結構化壓縮方式，所述對所述待壓縮神經網絡模型進行壓縮處理，得到待部署的神經網絡模型。

6.一種神經網絡模型確定裝置，其特征在于，所述裝置包括：

獲取模塊，用于獲取目標任務的任務配置參數、訓練資源的資源配置參數、模型設計配置參數以及模型壓縮配置參數；

生成模塊，用于基于所述任務配置參數、所述資源配置參數及所述模型設計配置參數，生成針對所述目標任務的初始神經網絡模型；

壓縮模塊，用于根據所述模型壓縮配置參數，選擇相應的預設壓縮方式，對所述初始神經網絡模型進行壓縮處理，得到待部署的神經網絡模型。