[發明專利]圖像處理方法、裝置、電子設備及可讀存儲介質

在審

• 申請號: 202011572699.0
• 申請日: 2020-12-25
• 公開（公告）號: CN112766307A
• 公開（公告）日: 2021-05-07
• 發明（設計）人: 周爭光;姚聰;王鵬;陳坤鵬
• 申請（專利權）人: 北京邁格威科技有限公司;深圳曠視金智科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/08
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 何少巖

本申請提供一種圖像處理方法、裝置、電子設備及可讀存儲介質，方法包括：將待處理圖像輸入至量化神經網絡模型，并輸出圖像處理結果。而量化神經網絡模型則通過以下方式得到：獲取預先標注的訓練樣本，采用訓練樣本對待訓練的量化神經網絡模型，以及該量化神經網絡模型與預設的各非量化網絡結構結合在一起構成的輔助網絡進行迭代訓練，得到每次迭代訓練過程中輔助網絡對應的第一損失值，以及量化神經網絡模型對應的第二損失值，進而在滿足預設收斂條件時停止迭代。這樣得到的量化神經網絡模型，量化權重在訓練時受非量化網絡影響，使量化神經網絡模型權重參數更易于訓練和收斂，使最終得到的量化神經網絡模型性能更優，進而使得圖像處理效果更好。

技術領域

本申請涉及數據處理技術領域，具體而言，涉及一種圖像處理方法、裝置、電子設備及可讀存儲介質。

背景技術

在移動端等資源受限的平臺中，運行復雜的深度神經網絡往往不可行，研究人員通過量化神經網絡的權重或特征值來解決這個問題。

量化神經網絡是將神經網絡中的權重或特征值用低比特(即小于32比特)表示的過程，相比非量化網絡，量化網絡的表示能力大大減小。但因此也導致使用傳統的模型訓練方法對量化神經網絡進行訓練時，量化神經網絡的權重無法得到有效的更新，這使得量化網絡的性能一般較低，進而嚴重影響量化神經網絡的圖像處理能力。

發明內容

本申請實施例的目的在于提供一種圖像處理方法、裝置、電子設備及可讀存儲介質，用以解決目前量化神經網絡模型的權重無法得到有效的更新，使得量化神經網絡模型的性能一般較低，進而嚴重影響量化神經網絡的圖像處理能力的問題。

本申請實施例提供了一種圖像處理方法，包括：將待處理圖像輸入至量化神經網絡模型，并輸出圖像處理結果；其中，所述量化模型通過以下過程訓練得到：獲取預先標注的訓練樣本；采用所述訓練樣本對待訓練的量化神經網絡模型與預設的各非量化網絡結構結合在一起構成的輔助網絡進行迭代訓練，得到每次迭代訓練過程中所述輔助網絡對各所述訓練樣本處理得到的各所述訓練樣本對應的第一損失值；采用所述訓練樣本對所述量化神經網絡模型進行迭代訓練，得到每次迭代訓練過程中所述量化神經網絡模型對各所述訓練樣本處理得到的各所述訓練樣本對應的第二損失值；根據所述第一損失值和第二損失值，確定最新迭代的所述量化神經網絡模型是否滿足預設收斂條件；在所述量化神經網絡模型滿足所述預設收斂條件時，停止迭代，得到訓練好的量化神經網絡模型。

需要說明的是，對于模型的訓練，是一個不斷迭代的過程。通過不斷迭代更新模型內的權重參數，并不斷以迭代更新后的模型對訓練樣本進行處理，使得最終得到的損失值越來越小，直至損失值收斂。損失值收斂時得到的模型即為訓練好的模型，此時模型中的權重參數即為最終更新得到的權重參數。而量化神經網絡模型由于權重參數是用低比特表示的，傳統的這種訓練方式進行模型迭代時，往往會出現在模型效果并不十分理想的情況下，損失值就已收斂了。而在非量化網絡中則不會存在該問題。

據此，在本申請實施例中，通過將預設的各非量化網絡結構與待訓練的量化神經網絡模型結合在一起構成的輔助網絡，進而同時對量化神經網絡模型和輔助網絡進行迭代訓練，這樣量化神經網絡模型中量化的權重即被非量化網絡結構與量化神經網絡模型共享，訓練時會受到非量化網絡的迭代更新的影響，從而使得量化神經網絡模型權重參數更易于訓練和收斂，使最終訓練得到的量化神經網絡模型性能更優，進而使得圖像處理效果更好。

進一步地，所述量化神經網絡模型的每一卷積層分別與所述各非量化網絡結構中的一非量化網絡結構結合在一起，構成所述輔助網絡。

在上述實現過程中，量化神經網絡模型的每一卷積層分別與一非量化網絡結構結合在一起，這樣構成的輔助網絡每一層卷積層對于特征的處理即會同時受到量化神經網絡模型和非量化網絡結構的雙重影響，從而加深訓練過程中非量化網絡結構對于量化神經網絡模型的權重參數的影響，使得訓練收斂時，量化神經網絡模型的權重參數能夠得到更為有效的更新。