[發(fā)明專利]一種模型剪枝方法、圖像處理方法及相關(guān)裝置

在審

• 申請?zhí)枺?/td>: 202211600306.1
• 申請日: 2022-12-13
• 公開（公告）號: CN116128044A
• 公開（公告）日: 2023-05-16
• 發(fā)明（設(shè)計）人: 陸強
• 申請（專利權(quán)）人: 際絡(luò)科技（上海）有限公司
• 主分類號: G06N3/082
• 分類號: G06N3/082;G06V10/82
• 代理公司: 北京路浩知識產(chǎn)權(quán)代理有限公司 11002
• 代理人: 楊偉東

本發(fā)明提供一種模型剪枝方法、圖像處理方法及相關(guān)裝置，包括：獲取待剪枝模型以及其對應(yīng)的剪枝目標，其中，所述待剪枝模型基于圖像數(shù)據(jù)訓(xùn)練得到；根據(jù)所述剪枝目標對所述待剪枝模型進行預(yù)剪枝，以獲得目標剪枝配置；根據(jù)所述目標剪枝配置以及所述剪枝目標對所述待剪枝模型進行一次剪枝，獲得目標模型；其中，所述根據(jù)所述剪枝目標對所述待剪枝模型進行預(yù)剪枝，以獲得目標剪枝配置，包括：根據(jù)所述剪枝目標對所述待剪枝模型中每一網(wǎng)絡(luò)層的通道進行均勻剪枝，獲得初始剪枝配置；基于所述剪枝目標以及所述初始剪枝配置，對所述待剪枝模型中所有網(wǎng)絡(luò)層的通道進行迭代剪枝，獲得目標剪枝配置。本發(fā)明從全局最優(yōu)出發(fā)，具有更好的剪枝效果。

技術(shù)領(lǐng)域

本發(fā)明涉及模型壓縮技術(shù)領(lǐng)域，尤其涉及一種模型剪枝方法、圖像處理方法及相關(guān)裝置。

背景技術(shù)

隨著人工智能技術(shù)的發(fā)展，神經(jīng)網(wǎng)絡(luò)模型的應(yīng)用也越來越廣泛?？紤]到網(wǎng)絡(luò)模型的參數(shù)多、運算量大，為了提高模型的運算速度，需要對模型進行壓縮。通過模型壓縮，以達到減小模型尺寸，降低資源消耗并提升響應(yīng)時間的目的。

其中，模型剪枝是當前一種常見的模型壓縮方法，該方法通過在訓(xùn)練完模型后，去掉網(wǎng)絡(luò)模型中權(quán)重較小的參數(shù)，以實現(xiàn)對神經(jīng)網(wǎng)絡(luò)模型的壓縮。當前模型剪枝分為迭代式剪枝和一次剪枝(one-shot剪枝)，兩者在分析剪枝配置時通常采用貪心法確定剪枝配置，該方法無法達到全局最優(yōu)，且對復(fù)雜的神經(jīng)網(wǎng)絡(luò)模型來說剪枝效果不夠好。因此，如何從全局最優(yōu)角度確定剪枝配置是亟需解決的技術(shù)問題。

發(fā)明內(nèi)容

本發(fā)明提供一種模型剪枝方法、圖像處理方法及相關(guān)裝置，用以解決上述問題。

本發(fā)明提供一種模型剪枝方法，包括：

獲取待剪枝模型以及其對應(yīng)的剪枝目標，其中，所述待剪枝模型基于圖像數(shù)據(jù)訓(xùn)練得到；

根據(jù)所述剪枝目標對所述待剪枝模型進行預(yù)剪枝，以獲得目標剪枝配置；

根據(jù)所述目標剪枝配置以及所述剪枝目標對所述待剪枝模型進行一次剪枝，獲得目標模型；

其中，所述根據(jù)所述剪枝目標對所述待剪枝模型進行預(yù)剪枝，以獲得目標剪枝配置，包括：

根據(jù)所述剪枝目標對所述待剪枝模型中每一網(wǎng)絡(luò)層的通道進行均勻剪枝，獲得初始剪枝配置；

基于所述剪枝目標以及所述初始剪枝配置，對所述待剪枝模型中所有網(wǎng)絡(luò)層的通道進行迭代剪枝，獲得目標剪枝配置。

根據(jù)本發(fā)明提供的一種模型剪枝方法，所述剪枝目標為通道數(shù)剪枝比率；

所述根據(jù)所述剪枝目標對所述待剪枝模型中每一網(wǎng)絡(luò)層的通道進行均勻剪枝，獲得初始剪枝配置，包括：

獲取所述待剪枝模型中每一網(wǎng)絡(luò)層中各個通道的范數(shù)；

根據(jù)所述每一網(wǎng)絡(luò)層中各個通道的范數(shù)大小對每一網(wǎng)絡(luò)層的通道進行排序，以獲得每一網(wǎng)絡(luò)層的通道序列；

根據(jù)初始目標剪枝通道數(shù)從所述每一網(wǎng)絡(luò)層的通道序列中確定初始待剪枝通道；其中，所述初始目標剪枝通道數(shù)根據(jù)所述通道數(shù)剪枝比率以及每一網(wǎng)絡(luò)層的通道總數(shù)量計算得到；

根據(jù)所述初始待剪枝通道以及其對應(yīng)的通道信息生成初始剪枝配置。

根據(jù)本發(fā)明提供的一種模型剪枝方法，所述剪枝目標為通道數(shù)剪枝比率；

所述基于所述剪枝目標以及所述初始剪枝配置，對所述待剪枝模型中所有網(wǎng)絡(luò)層的通道進行迭代剪枝，獲得目標剪枝配置，包括：

S1，獲取所述待剪枝模型中每一網(wǎng)絡(luò)層中各個通道的范數(shù)；

S2，按照所述各個通道的范數(shù)大小對所有通道進行排序，以獲得與所述待剪枝模型對應(yīng)的通道序列；