[發明專利]圖像處理方法及相關裝置

在審

• 申請號: 202111152248.6
• 申請日: 2021-09-29
• 公開（公告）號: CN113947184A
• 公開（公告）日: 2022-01-18
• 發明（設計）人: 戴嬋媛;胡均浩
• 申請（專利權）人: 紫光展銳（重慶）科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06T3/40
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 熊永強;李光金

本申請實施例提供了一種圖像處理方法及相關裝置，該方法中，圖像處理裝置將第一圖像的亮度數據，輸入至扁平化卷積神經網絡模型進行特征提取處理，輸出第一亮度數據；對第一圖像的亮度數據進行插值處理，得到第二亮度數據；對第一圖像的色度數據進行插值處理，得到第一色度數據；對第一亮度數據、第二亮度數據和第一色度數據進行融合處理，得到第二圖像，該第二圖像的分辨率是第一圖像的分辨率的N倍，N是正整數。其中，扁平化卷積神經網絡模型中卷積層的數量大于卷積神經網絡模型中卷積層的數量，且各卷積層中的卷積核的數量小于卷積神經網絡模型中各卷積層中的卷積核的數量，大大減少了卷積運算，降低了計算復雜度。

技術領域

本發明涉及計算機技術領域，尤其涉及一種圖像處理方法及相關裝置。

背景技術

超分辨率技術(super-resolution，SR)是指將低分辨率(low resolution，LR)圖像重建出相應的高分辨率(high resolution，HR)圖像(也可稱為超分辨率圖像)。該技術能夠增加圖像的高頻信息，還可消除低分辨率圖像重建為高分辨圖像過程中產生的退化現象。該技術可廣泛應用于各個領域，例如可應用于電視、手機、監控設備、衛星圖像和醫學影像等領域。可見，超分辨率技術具有較大的經濟價值、軍事價值和社會效益，且具有廣泛的應用前景和實用意義。

具體地，卷積神經網絡模型可對輸入該模型的低分辨率圖像的自身紋理特征進行處理，使得輸出的相應的高分辨率圖像中的紋理特征更加清晰，以此可提高圖像的清晰度。然而，利用卷積神經網絡模型對低分辨率圖像進行處理時，需要進行大量的卷積運算，計算量過大。因此，如何降低超分辨重建時的計算復雜度是一個亟待解決的問題。

發明內容

本申請實施例提供一種圖像處理方法及相關裝置，可以降低超分辨重建時的計算復雜度。

第一方面，本申請實施例提供一種圖像處理方法，可由圖像處理裝置執行，該方法包括：將第一圖像的亮度數據，輸入至扁平化卷積神經網絡模型進行特征提取處理，輸出第一亮度數據；對第一圖像的亮度數據進行插值處理，得到第二亮度數據；對第一圖像的色度數據進行插值處理，得到第一色度數據；對第一亮度數據、第二亮度數據和第一色度數據進行融合處理，得到第二圖像，第二圖像的分辨率是第一圖像的分辨率的N倍，N是正整數。

其中，該扁平化卷積神經網絡模型中卷積層的數量大于卷積神經網絡模型中卷積層的數量，且扁平化卷積神經網絡模型中各卷積層中的卷積核的數量小于卷積神經網絡模型中各卷積層中的卷積核的數量。這樣大大減少了各卷積層與輸入該卷積層的數據之間的卷積運算，減少了計算量，降低了計算復雜度，降低了圖像處理裝置實現超分辨率重建的功耗和壓降(IR Drop)。

在一種可選的實施方式中，對第一圖像的亮度數據進行的插值處理為雙三次插值處理；和/或，對第一圖像的色度數據進行的插值處理為雙三次插值處理。采用雙三次差值處理可降低圖像銳利程度，進而可提高分辨率放大效果，提高第二圖像的質量。

在一種可選的實施方式中，扁平化卷積神經網絡模型中各卷積層中的卷積核的數量是根據N的取值確定的。該實施方式中，分辨率放大倍數N取不同值時采用不同的扁平化卷積神經網絡策略進行特征提取處理，提高靈活性，并且還可進一步減少低倍率放大時超分辨率重建的計算量，降低功耗。

在一種可選的實施方式中，扁平化卷積神經網絡模型中的M個卷積層分別對應不同位寬的權重系數；M是大于或等于2的整數。該實施方式中，圖像處理裝置對權重系數分層量化，為位寬需求較少的M個卷積層對應的權重系數分配較少的位寬，可減少存儲數據所占用的資源，且減少計算量，降低功耗。

在一種可選的實施方式中，扁平化卷積神經網絡模型包括第一特征提取模塊、第二特征提取模塊、融合模塊和第三特征提取模塊，第二特征提取模塊包括多個殘差塊。

將第一圖像的亮度數據，輸入至扁平化卷積神經網絡模型進行特征提取處理，輸出第一亮度數據，包括：