[發(fā)明專利]一種神經(jīng)網(wǎng)絡(luò)模型確定方法及裝置

有效

• 申請?zhí)枺?/td>: 201811307230.7
• 申請日: 2018-11-05
• 公開（公告）號: CN111144561B
• 公開（公告）日: 2023-05-02
• 發(fā)明（設(shè)計(jì)）人: 張淵;謝迪;浦世亮
• 申請（專利權(quán)）人: 杭州?？低晹?shù)字技術(shù)股份有限公司
• 主分類號: G06N3/082
• 分類號: G06N3/082
• 代理公司: 北京柏杉松知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11413
• 代理人: 丁蕓;項(xiàng)京

本申請實(shí)施例提供了一種神經(jīng)網(wǎng)絡(luò)模型確定方法及裝置，其中，神經(jīng)網(wǎng)絡(luò)模型確定方法包括：獲取目標(biāo)任務(wù)的任務(wù)配置參數(shù)、訓(xùn)練資源的資源配置參數(shù)、模型設(shè)計(jì)配置參數(shù)以及模型壓縮配置參數(shù)；基于任務(wù)配置參數(shù)、資源配置參數(shù)及模型設(shè)計(jì)配置參數(shù)，生成針對目標(biāo)任務(wù)的初始神經(jīng)網(wǎng)絡(luò)模型；根據(jù)模型壓縮配置參數(shù)，選擇相應(yīng)的預(yù)設(shè)壓縮方式，對初始神經(jīng)網(wǎng)絡(luò)模型進(jìn)行壓縮處理，得到待部署的神經(jīng)網(wǎng)絡(luò)模型。通過本方案，可以提高神經(jīng)網(wǎng)絡(luò)模型確定過程中的開發(fā)效率。

技術(shù)領(lǐng)域

本申請涉及機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域，特別是涉及一種神經(jīng)網(wǎng)絡(luò)模型確定方法及裝置。

背景技術(shù)

神經(jīng)網(wǎng)絡(luò)作為機(jī)器學(xué)習(xí)研究中的一個新興領(lǐng)域，通過模仿人腦的機(jī)制來解析數(shù)據(jù)，是一種通過建立和模擬人腦進(jìn)行分析學(xué)習(xí)的智能模型。神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺、語音識別、機(jī)器人控制等領(lǐng)域已經(jīng)取得了巨大成功，通過多個網(wǎng)絡(luò)層的逐層運(yùn)算，可以提取出目標(biāo)的特征信息，從而實(shí)現(xiàn)智能跟蹤、智能檢索等功能，因此，神經(jīng)網(wǎng)絡(luò)逐漸成為了現(xiàn)代人工智能的基石。

然而，神經(jīng)網(wǎng)絡(luò)模型的確定過程十分復(fù)雜，從初始設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)模型到最終確定可在設(shè)備端部署的神經(jīng)網(wǎng)絡(luò)模型的過程耗時較大，通常需要人工干預(yù)，通過人工驗(yàn)證的方式，對神經(jīng)網(wǎng)絡(luò)模型進(jìn)行大量的模型驗(yàn)證、模型調(diào)試等工作，導(dǎo)致神經(jīng)網(wǎng)絡(luò)模型確定過程中的開發(fā)效率較低。

發(fā)明內(nèi)容

本申請實(shí)施例的目的在于提供一種神經(jīng)網(wǎng)絡(luò)模型確定方法及裝置，以提高神經(jīng)網(wǎng)絡(luò)模型確定過程中的開發(fā)效率。具體技術(shù)方案如下：

第一方面，本申請實(shí)施例提供了一種神經(jīng)網(wǎng)絡(luò)模型確定方法，所述方法包括：

獲取目標(biāo)任務(wù)的任務(wù)配置參數(shù)、訓(xùn)練資源的資源配置參數(shù)、模型設(shè)計(jì)配置參數(shù)以及模型壓縮配置參數(shù)；

基于所述任務(wù)配置參數(shù)、所述資源配置參數(shù)及所述模型設(shè)計(jì)配置參數(shù)，生成針對所述目標(biāo)任務(wù)的初始神經(jīng)網(wǎng)絡(luò)模型；

根據(jù)所述模型壓縮配置參數(shù)，選擇相應(yīng)的預(yù)設(shè)壓縮方式，對所述初始神經(jīng)網(wǎng)絡(luò)模型進(jìn)行壓縮處理，得到待部署的神經(jīng)網(wǎng)絡(luò)模型。

可選的，所述任務(wù)配置參數(shù)，包括：任務(wù)類型；所述資源配置參數(shù)，包括：訓(xùn)練數(shù)據(jù)以及算力資源；

所述基于所述任務(wù)配置參數(shù)、所述資源配置參數(shù)及所述模型設(shè)計(jì)配置參數(shù)，生成針對所述目標(biāo)任務(wù)的初始神經(jīng)網(wǎng)絡(luò)模型，包括：

根據(jù)所述模型設(shè)計(jì)配置參數(shù)，確定神經(jīng)網(wǎng)絡(luò)模型的搜索空間及搜索策略；

根據(jù)所述任務(wù)類型及所述算力資源，從所述搜索空間中，確定神經(jīng)網(wǎng)絡(luò)模型的各網(wǎng)絡(luò)層內(nèi)部初始結(jié)構(gòu)及網(wǎng)絡(luò)層間初始結(jié)構(gòu)，并從所述搜索策略中，確定各網(wǎng)絡(luò)層內(nèi)部訓(xùn)練方式及網(wǎng)絡(luò)層間訓(xùn)練方式；

從所有訓(xùn)練數(shù)據(jù)中提取預(yù)設(shè)數(shù)量的訓(xùn)練數(shù)據(jù)，組成小數(shù)據(jù)集；

根據(jù)各網(wǎng)絡(luò)層內(nèi)部初始結(jié)構(gòu)，基于所述小數(shù)據(jù)集，采用對應(yīng)的網(wǎng)絡(luò)層內(nèi)部訓(xùn)練方式，訓(xùn)練得到各網(wǎng)絡(luò)層內(nèi)部結(jié)構(gòu)模型；

根據(jù)所述網(wǎng)絡(luò)層間初始結(jié)構(gòu)，連接各網(wǎng)絡(luò)層內(nèi)部結(jié)構(gòu)模型，得到待訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型；

根據(jù)所述待訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，基于大數(shù)據(jù)集，采用所述網(wǎng)絡(luò)層間訓(xùn)練方式，訓(xùn)練得到初始神經(jīng)網(wǎng)絡(luò)模型，其中，所述大數(shù)據(jù)集包括所有訓(xùn)練數(shù)據(jù)。

可選的，所述根據(jù)所述模型壓縮配置參數(shù)，選擇相應(yīng)的預(yù)設(shè)壓縮方式，對所述初始神經(jīng)網(wǎng)絡(luò)模型進(jìn)行壓縮處理，得到待部署的神經(jīng)網(wǎng)絡(luò)模型，包括：

對所述初始神經(jīng)網(wǎng)絡(luò)模型進(jìn)行知識遷移，得到待壓縮神經(jīng)網(wǎng)絡(luò)模型；

根據(jù)所述模型壓縮配置參數(shù)，選擇相應(yīng)的預(yù)設(shè)壓縮方式；

根據(jù)所述預(yù)設(shè)壓縮方式，對所述初始神經(jīng)網(wǎng)絡(luò)模型進(jìn)行模型壓縮自適應(yīng)分析，得到壓縮量；