[發(fā)明專利]一種模型優(yōu)化方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)、程序產(chǎn)品

在審

• 申請(qǐng)?zhí)枺?/td>: 202210171877.1
• 申請(qǐng)日: 2022-02-24
• 公開（公告）號(hào): CN114492765A
• 公開（公告）日: 2022-05-13
• 發(fā)明（設(shè)計(jì)）人: 葉志凌;孔翰;宋應(yīng)湃
• 申請(qǐng)（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/08;G06N20/00
• 代理公司: 北京派特恩知識(shí)產(chǎn)權(quán)代理有限公司 11270
• 代理人: 彭奇;王黎延

本申請(qǐng)?zhí)峁┝艘环N模型優(yōu)化方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)、程序產(chǎn)品；本申請(qǐng)實(shí)施例可以應(yīng)用于云技術(shù)、人工智能、智慧交通、車載等各種場景，涉及人工智能技術(shù)；該方法包括：獲取待優(yōu)化模型和控制參數(shù)；通過對(duì)待優(yōu)化模型中的模型算子進(jìn)行封裝，確定待優(yōu)化模型對(duì)應(yīng)的超模型；其中，超模型的空間結(jié)構(gòu)是動(dòng)態(tài)變化的；依據(jù)模型算子和控制參數(shù)，確定待優(yōu)化模型對(duì)應(yīng)的配置搜索空間；模型算子至少包括：待優(yōu)化模型中的一個(gè)網(wǎng)絡(luò)層；基于配置搜索空間和所述待優(yōu)化模型，對(duì)超模型進(jìn)行訓(xùn)練，得到待優(yōu)化模型對(duì)應(yīng)的收斂超模型；從收斂超模型中搜索得到待優(yōu)化模型對(duì)應(yīng)的優(yōu)化模型。通過本申請(qǐng)，能夠減少模型優(yōu)化時(shí)計(jì)算資源的消耗。

技術(shù)領(lǐng)域

本申請(qǐng)涉及人工智能技術(shù)，尤其涉及一種模型優(yōu)化方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)、程序產(chǎn)品。

背景技術(shù)

深度學(xué)習(xí)模型由于其優(yōu)秀的特征提取、特征泛化能力，經(jīng)常作為人工智能的核心支撐技術(shù)，被應(yīng)用到各種場景中。為了使得深度學(xué)習(xí)模型能夠具有更好的預(yù)測(cè)效果或預(yù)測(cè)效率，通常都會(huì)對(duì)訓(xùn)練好的深度學(xué)習(xí)模型進(jìn)行模型優(yōu)化，然后再將優(yōu)化后的深度學(xué)習(xí)模型部署到應(yīng)用場景中。然而，相關(guān)技術(shù)中，模型優(yōu)化時(shí)的可選模型的在生成時(shí)需要消耗巨大的計(jì)算資源，從而導(dǎo)致模型優(yōu)化過程存在計(jì)算資源消耗大的問題。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提供一種模型優(yōu)化方法、裝置、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)、程序產(chǎn)品，能夠減少模型優(yōu)化時(shí)計(jì)算資源的消耗。

本申請(qǐng)實(shí)施例的技術(shù)方案是這樣實(shí)現(xiàn)的：

本申請(qǐng)實(shí)施例提供一種模型優(yōu)化方法，包括：

獲取待優(yōu)化模型和控制參數(shù)；所述待優(yōu)化模型是經(jīng)過訓(xùn)練的模型；

通過對(duì)所述待優(yōu)化模型中的模型算子進(jìn)行封裝，確定所述待優(yōu)化模型對(duì)應(yīng)的超模型；其中，所述超模型的空間結(jié)構(gòu)是動(dòng)態(tài)變化的；

依據(jù)所述模型算子和所述控制參數(shù)，確定所述待優(yōu)化模型對(duì)應(yīng)的配置搜索空間；所述模型算子至少包括：所述待優(yōu)化模型中的一個(gè)網(wǎng)絡(luò)層；

基于所述配置搜索空間和所述待優(yōu)化模型，對(duì)所述超模型進(jìn)行訓(xùn)練，得到所述待優(yōu)化模型對(duì)應(yīng)的收斂超模型；

從所述收斂超模型中搜索得到所述待優(yōu)化模型對(duì)應(yīng)的優(yōu)化模型。

本申請(qǐng)實(shí)施例提供一種模型優(yōu)化裝置，包括：

數(shù)據(jù)獲取模塊，用于獲取待優(yōu)化模型和控制參數(shù)；所述待優(yōu)化模型是經(jīng)過訓(xùn)練的模型；

數(shù)據(jù)封裝模塊，用于通過對(duì)所述待優(yōu)化模型中的模型算子進(jìn)行封裝，確定所述待優(yōu)化模型對(duì)應(yīng)的超模型；其中，所述超模型的空間結(jié)構(gòu)是動(dòng)態(tài)變化的；

空間配置模塊，用于依據(jù)所述模型算子和所述控制參數(shù)，確定所述待優(yōu)化模型對(duì)應(yīng)的配置搜索空間；所述模型算子至少包括：所述待優(yōu)化模型中的一個(gè)網(wǎng)絡(luò)層；

模型訓(xùn)練模塊，用于基于所述配置搜索空間和所述待優(yōu)化模型，對(duì)所述超模型進(jìn)行訓(xùn)練，得到所述待優(yōu)化模型對(duì)應(yīng)的收斂超模型；

模型搜索模塊，用于從所述收斂超模型中搜索得到所述待優(yōu)化模型對(duì)應(yīng)的優(yōu)化模型。

在本申請(qǐng)的一些實(shí)施例中，所述數(shù)據(jù)封裝模塊，還用于依據(jù)所述待優(yōu)化模型中的模型算子之間的連接關(guān)系，將所述待優(yōu)化模型的所述模型算子劃分為多個(gè)算子集合；針對(duì)每個(gè)所述算子集合，確定對(duì)應(yīng)的封裝變量；利用所述封裝變量對(duì)每個(gè)所述算子集合中的模型算子進(jìn)行封裝，得到每個(gè)所述算子集合的所述模型算子所對(duì)應(yīng)的封裝算子；所述封裝算子的空間結(jié)構(gòu)是動(dòng)態(tài)的；將利用所述封裝算子拼接得到的模型，確定為所述待優(yōu)化模型對(duì)應(yīng)的所述超模型。