[發(fā)明專(zhuān)利]量化參數(shù)處理方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202011601317.2
• 申請(qǐng)日: 2020-12-30
• 公開(kāi)（公告）號(hào): CN112561083A
• 公開(kāi)（公告）日: 2021-03-26
• 發(fā)明（設(shè)計(jì)）人: 申偉強(qiáng);李驪
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京華捷艾米科技有限公司
• 主分類(lèi)號(hào): G06N20/00
• 分類(lèi)號(hào): G06N20/00
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 王嬌嬌

本申請(qǐng)?zhí)峁┝艘环N量化參數(shù)處理方法及裝置，獲取模型量化工具中包括的每個(gè)參數(shù)配置項(xiàng)、以及每個(gè)參數(shù)配置項(xiàng)對(duì)應(yīng)的所有量化參數(shù)；將每個(gè)參數(shù)配置項(xiàng)對(duì)應(yīng)的各個(gè)量化參數(shù)進(jìn)行組合，得到多個(gè)量化參數(shù)組合；每個(gè)量化參數(shù)組合包括每個(gè)參數(shù)配置項(xiàng)中的任意一個(gè)量化參數(shù)；獲取待量化浮點(diǎn)型模型；針對(duì)每個(gè)量化參數(shù)組合，基于量化參數(shù)組合中的各個(gè)量化參數(shù)，調(diào)用模型量化工具對(duì)待量化浮點(diǎn)型模型進(jìn)行量化處理，得到量化參數(shù)組合對(duì)應(yīng)的量化模型；計(jì)算每個(gè)量化參數(shù)組合對(duì)應(yīng)的量化模型的模型精度，并將各個(gè)模型精度中最高的或最低的模型精度對(duì)應(yīng)的量化參數(shù)組合確定為目標(biāo)量化參數(shù)組合。實(shí)現(xiàn)了確保所確定的目標(biāo)量化參數(shù)組合是所有量化參數(shù)組合中的最優(yōu)量化參數(shù)組合。

技術(shù)領(lǐng)域

本申請(qǐng)涉及深度學(xué)習(xí)技術(shù)領(lǐng)域，尤其涉及一種量化參數(shù)處理方法及裝置。

背景技術(shù)

隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展，基于深度學(xué)習(xí)的深度神經(jīng)網(wǎng)絡(luò)模型被廣泛應(yīng)用于各個(gè)領(lǐng)域，但在對(duì)深度神經(jīng)網(wǎng)絡(luò)模型的實(shí)際部署中，仍然存在模型大，導(dǎo)致計(jì)算資源(例如CPU)消耗較大等問(wèn)題，進(jìn)而導(dǎo)致無(wú)法在終端設(shè)備或者邊緣設(shè)備上進(jìn)行部署，因此，為了降低計(jì)算資源消耗，需要對(duì)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行量化。

現(xiàn)有技術(shù)中，模型量化基于模型量化工具實(shí)現(xiàn)，模型量化工具設(shè)置有多個(gè)參數(shù)配置項(xiàng)，每個(gè)參數(shù)配置項(xiàng)對(duì)應(yīng)有多個(gè)量化參數(shù)供用戶(hù)進(jìn)行配置，用戶(hù)根據(jù)經(jīng)驗(yàn)從每個(gè)參數(shù)配置項(xiàng)對(duì)應(yīng)的多個(gè)量化參數(shù)中選擇一個(gè)量化參數(shù)進(jìn)行模型量化。由于需要配置的參數(shù)配置項(xiàng)、以及每一個(gè)參數(shù)配置項(xiàng)對(duì)應(yīng)可選擇的量化參數(shù)較多，由此可形成多種量化參數(shù)組合，導(dǎo)致可能出現(xiàn)用戶(hù)所配置的量化參數(shù)組合不是最優(yōu)的量化參數(shù)組合的情況，從而導(dǎo)致基于該量化參數(shù)組合所量化得到的量化模型精度非常低，無(wú)法滿(mǎn)足最小精度損失的模型量化需求。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)峁┝艘环N量化參數(shù)處理方法及裝置，目的在于解決量化參數(shù)組合較多，導(dǎo)致可能出現(xiàn)用戶(hù)所配置的量化參數(shù)組合不是最優(yōu)的量化參數(shù)組合的情況，從而導(dǎo)致基于該量化參數(shù)組合所量化得到的量化模型精度非常低，無(wú)法滿(mǎn)足最小精度損失的模型量化需求的問(wèn)題。

為了實(shí)現(xiàn)上述目的，本申請(qǐng)?zhí)峁┝艘韵录夹g(shù)方案：

一種量化參數(shù)處理方法，包括：

獲取模型量化工具中包括的每個(gè)參數(shù)配置項(xiàng)、以及每個(gè)參數(shù)配置項(xiàng)對(duì)應(yīng)的所有量化參數(shù)；

將每個(gè)參數(shù)配置項(xiàng)對(duì)應(yīng)的各個(gè)量化參數(shù)進(jìn)行組合，得到多個(gè)量化參數(shù)組合；每個(gè)量化參數(shù)組合包括每個(gè)參數(shù)配置項(xiàng)中的任意一個(gè)量化參數(shù)；

獲取待量化浮點(diǎn)型模型；

針對(duì)每個(gè)量化參數(shù)組合，基于所述量化參數(shù)組合中的各個(gè)量化參數(shù)，調(diào)用所述模型量化工具對(duì)所述待量化浮點(diǎn)型模型進(jìn)行量化處理，得到所述量化參數(shù)組合對(duì)應(yīng)的量化模型；

計(jì)算每個(gè)量化參數(shù)組合對(duì)應(yīng)的量化模型的模型精度，并將目標(biāo)模型精度對(duì)應(yīng)的量化參數(shù)組合確定為目標(biāo)量化參數(shù)組合；所述目標(biāo)模型精度為各個(gè)模型精度中最高的或最低的模型精度。

上述的方法，可選的，所述獲取模型量化工具中包括的每個(gè)參數(shù)配置項(xiàng)、以及每個(gè)參數(shù)配置項(xiàng)對(duì)應(yīng)的所有量化參數(shù)，包括：

獲取預(yù)先生成的配置文件；所述配置文件中預(yù)先存儲(chǔ)模型量化工具中包括的每個(gè)參數(shù)配置項(xiàng)、以及每個(gè)參數(shù)配置項(xiàng)對(duì)應(yīng)的所有量化參數(shù)；

對(duì)所述配置文件進(jìn)行解析，以獲得所述模型量化工具中包括的每個(gè)參數(shù)配置項(xiàng)、以及每個(gè)參數(shù)配置項(xiàng)對(duì)應(yīng)的所有量化參數(shù)。

上述的方法，可選的，所述基于所述量化參數(shù)組合中的各個(gè)量化參數(shù)，調(diào)用所述模型量化工具對(duì)所述待量化浮點(diǎn)型模型進(jìn)行量化處理，得到所述量化參數(shù)組合對(duì)應(yīng)的量化模型，包括：

針對(duì)所述量化參數(shù)組合中的每個(gè)量化參數(shù)，確定所述模型量化工具中與所述量化參數(shù)對(duì)應(yīng)的寫(xiě)入位置；