[發明專利]三維神經網絡處理方法及圖像處理方法、系統和存儲介質

在審

• 申請號: 202310329084.2
• 申請日: 2023-03-28
• 公開（公告）號: CN116343009A
• 公開（公告）日: 2023-06-27
• 發明（設計）人: 錢平;韓睿;王文浩;鄭一鳴;謝凌東;李富強;李特;蔣鵬;姜雄偉;李斐然;劉爽;宮磊;周學海;李曦;錢佳明
• 申請（專利權）人: 國網浙江省電力有限公司電力科學研究院;中國科學技術大學蘇州高等研究院;國網浙江省電力有限公司寧波供電公司
• 主分類號: G06V10/82
• 分類號: G06V10/82;G06N3/0495;G06N3/0464;G06N3/045
• 代理公司: 浙江翔隆專利事務所(普通合伙) 33206
• 代理人: 許守金

本發明公開了三維神經網絡處理方法及圖像處理方法、系統和存儲介質，屬于神經網絡以及圖像處理技術領域。本發明的一種基于分塊循環矩陣的三維神經網絡處理方法，通過構建分塊循環矩陣模型、計算加速模型、全頻域模型，克服以往剪枝等模型壓縮方法存在的訪存、計算不規則等問題，提出使用分塊循環矩陣對三維神經網絡3D?CNN進行壓縮，并且進一步利用快速傅立葉變換FFT加速計算，在保持模型結構規則的前提下，取得了顯著的存儲和計算壓縮效果。在此基礎上，引入頻域內的激活、批歸一化和池化操作，進一步消除由于快速傅立葉變換FFT帶來的頻繁的時域/頻域切換開銷，從而實現了全頻域計算，進一步降低了3D?CNN模型推理時的計算開銷。

技術領域

本發明涉及三維神經網絡處理方法及圖像處理方法、系統和存儲介質，屬于神經網絡以及圖像處理技術領域。

背景技術

隨著大數據時代的來臨和計算機運算能力的提高，二維神經網絡即2D?CNN在圖像分類方面取得了最先進的精度。然而，在處理視頻等高維數據時，基于圖像的2D?CNN無法對其中的時間信息和運動模式進行建模，因此無法取得令人滿意的效果。為了實現對視頻等高維數據的精確分類，研究人員提出使用三維卷積來捕獲視頻等數據中的時空信息。2010年，Ji等人首次提出了三維卷積神經網絡，其在相鄰的圖像幀上執行三維卷積以提取時間和空間維度上的特征。隨后，Tran等人提出了一個現代意義上的深度架構C3D，C3D相對于以往的三維神經網絡即3D?CNN具有更深的層，故而可以在大規模數據集上進行學習并取得最優的結果。此后，3D?CNN在視頻分析、三維幾何數據分析、三維醫學圖像診斷方面取得了巨大的成功。然而，與算法性能提升相對應的是3D?CNN顯著增加的模型尺寸和計算量。例如，在網絡結構相同的情況下，3D?ResNet34的參數數目和計算量分別為63.5M和36.7GFLOPs，是2D?ResNet34(參數數目21.5M，計算量3.5GFLOPs)的2.95倍和10.49倍。相比于2D?CNN，3DCNN額外增加了時間維度以捕獲時域特征，因而存在更為龐大的存算開銷。因此，如何高性能、低功耗地部署3D?CNN，是目前學術界和工業界的研究熱點。

為了解決這個問題，研究者開始在算法層面采用模型壓縮方法對3D?CNN的存儲和計算開銷進行優化，目前常用的模型壓縮方法包括剪枝、量化、低秩分解以及快速算法。剪枝通常尋找一種評判指標來判斷參數的重要性，將不重要的參數剪去，以減少模型的冗余，其往往能帶來一個較高的壓縮比。然而，此類方法通常伴隨著微調、重訓練等過程，顯著加重了三維卷積神經網絡的訓練負擔，除此之外，剪枝還會造成非零元素的不規則分布，引起訪存不規則、計算負載不均衡等問題，對硬件實現不友好。參數量化可以有效降低計算資源消耗、片上存儲開銷和片外訪存的壓力，但量化過程往往會造成巨大的精度損失，且其對計算強度的壓縮效果并不明顯。

因此量化一般作為一種輔助的壓縮方法出現。低秩分解使用多個低秩矩陣來逼近高維張量，常見的分解方式包括CP分解、SVD分解、Tucker分解以及Tensor-Train分解，低秩分解可以顯著降低模型推理時的計算復雜度，但其涉及計算成本高昂的分解操作，且需要大量的重訓練來達到收斂，對本已非常耗時的3D?CNN訓練來說是無法接受的。

可用于加速卷積的快速算法包括快速傅立葉變換FFT和Winograd，此類算法先通過某種變換(快速傅立葉變換FFT或者Winograd變換)將特征圖和權重變換到另一個域，然后在另一個域上進行計算，最后再將計算結果變換回原先的域。然而，前述方法可以有效降低模型的計算量，但卻無法減少模型的參數數目。此外，Winograd和快速傅立葉變換FFT算法受卷積尺寸、步長的影響較大，例如兩者都無法加速1×1×1卷積，而這在現代網絡中占據了主要計算量，如3D?ResNet、3D?MobileNet。

總而言之，上述方法仍未妥善解決3D?CNN的處理效率問題，使其在能效/資源受限場景下的部署仍面臨嚴峻的性能和能效挑戰。

發明內容