[發(fā)明專利]機(jī)器學(xué)習(xí)模型的搜索方法及相關(guān)裝置、設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201911419960.0
• 申請(qǐng)日: 2019-12-31
• 公開(kāi)（公告）號(hào): CN111178546B
• 公開(kāi)（公告）日: 2023-05-23
• 發(fā)明（設(shè)計(jì)）人: 俞清華;劉默翰;隋志成;周力;白立勛
• 申請(qǐng)（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號(hào): G06N20/00
• 分類號(hào): G06N20/00;G06N5/04
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 熊永強(qiáng);李稷芳

1.一種機(jī)器學(xué)習(xí)模型的搜索方法，其特征在于，包括：

根據(jù)待量化模型生成M個(gè)純比特模型，其中，所述純比特模型和所述待量化模型為網(wǎng)絡(luò)結(jié)構(gòu)相同的深度神經(jīng)網(wǎng)絡(luò)，M為大于1的正整數(shù)；

獲取所述M個(gè)純比特模型中每一層層結(jié)構(gòu)的N個(gè)評(píng)價(jià)參數(shù)，所述M個(gè)純比特模型中每一層層結(jié)構(gòu)的N個(gè)評(píng)價(jià)參數(shù)是由移動(dòng)終端在運(yùn)行所述M個(gè)純比特模型時(shí)測(cè)量得到的；

執(zhí)行至少一次模型搜索，輸出所述N個(gè)評(píng)價(jià)參數(shù)和準(zhǔn)確率都滿足要求的模型；

其中，所述模型搜索的過(guò)程包括：

通過(guò)第一數(shù)據(jù)集對(duì)從候選集中選擇出的候選模型進(jìn)行訓(xùn)練和測(cè)試，得到目標(biāo)模型和所述目標(biāo)模型的準(zhǔn)確率；所述候選集包括至少一個(gè)候選模型；所述候選模型是與所述待量化模型的網(wǎng)絡(luò)結(jié)構(gòu)相同的混合比特模型；所述第一數(shù)據(jù)集包括多個(gè)樣本，用于訓(xùn)練和測(cè)試所述候選集中的候選模型；

在所述目標(biāo)模型的N個(gè)評(píng)價(jià)參數(shù)中存在至少一個(gè)評(píng)價(jià)參數(shù)不滿足要求且所述目標(biāo)模型的準(zhǔn)確率大于目標(biāo)閾值的情況下，根據(jù)所述M個(gè)純比特模型中每一層層結(jié)構(gòu)的N個(gè)評(píng)價(jià)參數(shù)獲取所述目標(biāo)模型中每一層層結(jié)構(gòu)的N個(gè)評(píng)價(jià)參數(shù)，根據(jù)所述目標(biāo)模型的網(wǎng)絡(luò)結(jié)構(gòu)和所述目標(biāo)模型中每一層層結(jié)構(gòu)的N個(gè)評(píng)價(jià)參數(shù)確定所述目標(biāo)模型中每一層層結(jié)構(gòu)的量化權(quán)重，對(duì)所述目標(biāo)模型中量化權(quán)重最大的層結(jié)構(gòu)進(jìn)行量化，將量化得到的模型添加至所述候選集中。

2.如權(quán)利要求1所述的方法，其特征在于，所述N個(gè)評(píng)價(jià)參數(shù)包括推理時(shí)間和參數(shù)量，所述根據(jù)所述目標(biāo)模型的網(wǎng)絡(luò)結(jié)構(gòu)和所述目標(biāo)模型中每一層層結(jié)構(gòu)的N個(gè)評(píng)價(jià)參數(shù)，確定所述目標(biāo)模型中每一層層結(jié)構(gòu)的量化權(quán)重，具體包括：

若所述目標(biāo)模型的推理時(shí)間大于目標(biāo)推理時(shí)間且所述目標(biāo)模型的參數(shù)量不大于目標(biāo)參數(shù)量，則根據(jù)所述目標(biāo)模型中的層結(jié)構(gòu)i的推理時(shí)間和所述層結(jié)構(gòu)i的權(quán)重確定所述目標(biāo)模型中的層結(jié)構(gòu)i的量化權(quán)重，i為目標(biāo)模型中層結(jié)構(gòu)的索引，i為正整數(shù)；

若所述目標(biāo)模型的推理時(shí)間不大于目標(biāo)推理時(shí)間且所述目標(biāo)模型的參數(shù)量大于目標(biāo)參數(shù)量，則根據(jù)所述目標(biāo)模型中的層結(jié)構(gòu)i的參數(shù)量和所述層結(jié)構(gòu)i的權(quán)重確定所述目標(biāo)模型中的層結(jié)構(gòu)i的量化權(quán)重；

若所述目標(biāo)模型的推理時(shí)間大于目標(biāo)推理時(shí)間且所述目標(biāo)模型的參數(shù)量大于目標(biāo)參數(shù)量，則根據(jù)所述目標(biāo)模型中的層結(jié)構(gòu)i的推理時(shí)間、所述目標(biāo)模型中的層結(jié)構(gòu)i的參數(shù)量和所述層結(jié)構(gòu)i的權(quán)重確定所述目標(biāo)模型中的層結(jié)構(gòu)i的量化權(quán)重。

3.如權(quán)利要求1所述的方法，其特征在于，所述通過(guò)第一數(shù)據(jù)集對(duì)從候選集中選擇出的候選模型進(jìn)行訓(xùn)練和測(cè)試之前，所述模型搜索的過(guò)程還包括：

通過(guò)第二數(shù)據(jù)集對(duì)所述候選集中每一個(gè)候選模型進(jìn)行訓(xùn)練和測(cè)試，得到所述候選集中每一個(gè)候選模型的測(cè)驗(yàn)準(zhǔn)確率，所述第二數(shù)據(jù)集中的樣本的數(shù)量小于所述第一數(shù)據(jù)集中的樣本的數(shù)量；

根據(jù)所述每一個(gè)候選模型的測(cè)驗(yàn)準(zhǔn)確率和所述每一個(gè)候選模型的權(quán)重從所述候選集中選擇一個(gè)候選模型。

4.如權(quán)利要求3所述的方法，其特征在于，所述候選模型的權(quán)重是根據(jù)所述候選模型被添加到候選集時(shí)模型搜索的總次數(shù)和當(dāng)前模型搜索的總次數(shù)確定的。

5.如權(quán)利要求1-4任一項(xiàng)所述的方法，其特征在于，所述對(duì)所述目標(biāo)模型中量化權(quán)重最大的層結(jié)構(gòu)進(jìn)行量化，具體包括：

將所述目標(biāo)模型中量化權(quán)重最大的層結(jié)構(gòu)中模型參數(shù)分別轉(zhuǎn)換由至少一個(gè)比特?cái)?shù)表示的模型參數(shù)，所述至少一個(gè)比特?cái)?shù)為比特?cái)?shù)集合中比所述目標(biāo)模型中量化權(quán)重最大的層結(jié)構(gòu)的模型參數(shù)的當(dāng)前比特?cái)?shù)低的比特?cái)?shù)，所述比特?cái)?shù)集合包括M個(gè)數(shù)值，所述M個(gè)數(shù)值分別用于指示所述M個(gè)純比特模型中模型參數(shù)的比特?cái)?shù)。

6.如權(quán)利要求1-5任一項(xiàng)所述的方法，其特征在于，所述模型搜索的過(guò)程還包括：

在所述目標(biāo)模型的準(zhǔn)確率小于所述目標(biāo)閾值的情況下，從所述候選集中重新選擇一個(gè)模型，執(zhí)行所述模型搜索。