[發明專利]基于卷積神經網絡的圖像處理裝置、設備及可讀存儲介質

有效

• 申請號: 202010046206.3
• 申請日: 2020-01-15
• 公開（公告）號: CN111275166B
• 公開（公告）日: 2023-05-02
• 發明（設計）人: 蔡宏民;陶桂華
• 申請（專利權）人: 華南理工大學
• 主分類號: G06N3/0464
• 分類號: G06N3/0464;G06N3/082;G06N3/0985;G06N3/063;G06V10/80;G06V10/82
• 代理公司: 廣州市智遠創達專利代理有限公司 44619
• 代理人: 王會龍

本發明公開了基于卷積神經網絡的圖像處理裝置，涉及圖像處理領域，一種基于卷積神經網絡的圖像處理裝置，包括：圖像獲取模塊，用于獲取待處理圖像；小波分解模塊，用于對所述待處理圖像進行小波分解，從而得到多個子分量；卷積融合模塊，用于對所述多個子分量進行卷積融合，得到初步特征圖；神經網絡模塊，用于對所述初步特征圖進一步提取特征，得到高級特征圖；結果輸出模塊，用于根據所述高級特征圖輸出相應的圖像處理結果。本發明實施例還提供了基于卷積神經網絡的圖像處理設備及計算機可讀存儲介質，能高效地實現對神經網絡模型的壓縮和加速，節省存儲資源和運行中需要占用的運行資源，提高圖像處理的效率。

技術領域

本發明涉及圖像處理領域，尤其涉及一種基于卷積神經網絡的圖像處理裝置、設備及可讀存儲介質。

背景技術

卷積神經網絡是圖像處理中常用的處理工具，而當前存儲條件和硬件的計算速度無法滿足復雜網絡的需求，深度卷積神經網絡往往需要壓縮和加速以追求更高的處理效率?，F有技術中，深度卷積神經網絡模型的壓縮方法主要包括參數修剪和共享、低秩分解和稀疏性、遷移/壓縮卷積核、知識蒸餾等方法。

1)參數剪枝和共享。神經網絡具有非常大的信息冗余和空間冗余，基于這樣的事實，一般在卷積層和全連接層中，通過刪除對準確率影響不大的參數實現模型的壓縮和加速。參數修剪和共享方法一般分為量化和二值化、剪枝和共享、設計結構化矩陣，其中，量化和二值化方法在處理大型網絡時準確率很低；剪枝和共享方法通常使用L1、L2做正則化，這使網絡需要迭代更多次數才會收斂，另外，剪枝方法需要手動設置網絡層的敏感度；設計結構化矩陣方法的結構約束會導致準確性損失，并且很難找到合適的結構矩陣。

2)低秩分解和稀疏性。一般的，CNN卷積核是一個4D張量，全連接層是一個2D矩陣，這些張量和矩陣存在大量的冗余，在卷積層和全連接層使用矩陣對參數進行分解估計同樣可以壓縮和加速模型。但低秩分解和稀疏方法涉及分解操作，分解操作計算成本高，并且因為不同層保存了不同的信息，所以低秩近似是逐層執行的，不能進行全局壓縮，最后，分解需要大量的模型重訓練才能實現收斂。

3)遷移和壓縮卷積核。僅在卷積核上做操作，使用緊湊的卷積核、使用緊湊的模塊，設計特別的卷積核來保存參數。而遷移和壓縮卷積核方法不適應于窄型/深層的架構，另外，遷移假設有時候太強，無法指導模型學習，模型結果不穩定。

4)知識蒸餾。通過訓練一個更緊湊的神經網絡來從大的模型蒸餾知識，并再現原大型網絡的輸出結果。但是知識蒸餾的模型假設太嚴格，并且只能用于softmax損失函數的分類任務。

發明內容

本發明實施例提供一種基于卷積神經網絡的圖像處理裝置、設備及可讀存儲介質，通過結合小波分解與神經網絡，將本來在時域空間的神經網絡模型引導到頻域空間，讓網絡在頻域空間進行運算和優化，高效地實現了對神經網絡模型的壓縮和加速，節省了存儲資源和運行中需要占用的運行資源，從而提高了圖像處理的效率。

本發明實施例提供一種基于卷積神經網絡的圖像處理裝置，包括：

圖像獲取模塊，用于獲取待處理圖像；

小波分解模塊，用于對所述待處理圖像進行小波分解，從而得到多個子分量；

卷積融合模塊，用于對所述多個子分量進行卷積融合，得到初步特征圖；

神經網絡模塊，用于對所述初步特征圖進一步提取特征，得到高級特征圖；

結果輸出模塊，用于根據所述高級特征圖輸出相應的圖像處理結果。

作為上述方案的改進，所述小波分解的級數為N，子分量的個數為3N+1；其中，N為正整數。

作為上述方案的改進，N＝1或N＝2。

作為上述方案的改進，根據壓縮增益、加速增益、精度損失和圖片大小確定所述小波分解的級數。