[發明專利]數據處理方法和數據處理裝置

有效

• 申請號: 202010110945.4
• 申請日: 2020-02-21
• 公開（公告）號: CN111402130B
• 公開（公告）日: 2023-07-18
• 發明（設計）人: 李松江;磯部駿;賈旭;袁善欣;格雷戈里·斯拉堡;許春景;田奇
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 王仲凱

本申請實施例公開了一種數據處理方法，應用于人工智能領域，具體為圖像處理技術，包括：獲取幀序列，幀序列中的幀具有第一分辨率；從幀序列中確定至少兩個幀組，幀組包括第一目標幀和第一目標幀的至少兩個鄰近幀，第一目標幀為幀序列中的任意一幀，鄰近幀為幀序列中除第一目標幀以外的幀；通過三維卷積神經網絡確定至少兩個幀組中每個幀組的特征，三維卷積神經網絡中卷積核在時間維度的尺寸與幀組中幀的數量正相關；融合至少兩個幀組中每個幀組的特征，以確定第一目標幀的細節特征；根據細節特征和第一目標幀，獲取具有第二分辨率的第一目標幀，第二分辨率大于第一分辨率。

技術領域

本申請涉及圖像處理技術領域，尤其涉及一種數據處理方法和數據處理裝置。

背景技術

超分辨率(super?resolution，SR)，簡稱超分，是指根據低分辨率圖像重建出相應的高分辨率圖像的技術。通過將低分辨率的圖像上采樣放大，借助圖像先驗知識等手段填充細節，生成對應的高分辨率圖像。超分辨率技術在高清電視、監控設備、衛星圖像和醫學影像等領域有重要的應用價值。

視頻超分辨率(video?super?resolution，VSR)，簡稱視頻超分，是將低分辨率的視頻生成對應的高分辨率視頻，視頻超分區別于圖像超分的一個核心操作是運動補償，即對目標幀附近的多幀圖像進行信息提取和融合，利用目標幀前后的鄰近幀的相似性獲取細節信息，進而生成高分辨率視頻。具體地，現有技術中，將包含目標幀的至少7幀低分辨率幀序列輸入三維(3D)卷積神經網絡，通過3*3*3尺寸的卷積核隱式地進行細節信息的提取和融合，由于3*3*3尺寸的卷積核在時間維度的尺寸為3，即一次可以同時處理3幀，然后通過卷積核依次滑動1幀進行信息提取，獲取細節信息，根據該細節信息并通過上采樣放大低分辨率的目標幀，最終獲取高分辨的目標幀。

現有技術利用3D卷積神經網絡進行運動補償時，受限于卷積核的尺寸限制，每次滑動處理3幀，以輸入7幀的幀序列，且第4幀為目標幀為例，卷積核滑動至第1、2、3幀時，由于缺少目標幀的指導信息，將導致特征提取較為盲目，特征提取效率低。

發明內容

本申請實施例提供了一種數據處理方法，用于幀序列超分辨率，可以提高特征提取效率，減少計算量。

本申請實施例第一方面提供了一種數據處理方法，包括：數據處理裝置獲取幀序列，所述幀序列中的幀具有第一分辨率；所述數據處理裝置從所述幀序列中確定至少兩個幀組，所述幀組包括第一目標幀和所述第一目標幀的至少兩個鄰近幀，所述第一目標幀為所述幀序列中的任意一幀，所述鄰近幀為所述幀序列中除所述第一目標幀以外的幀；所述數據處理裝置通過三維卷積神經網絡確定所述至少兩個幀組中每個幀組的特征，所述每個幀組的特征指示基于所述第一目標幀，從所述每個幀組內的鄰近幀中獲取的細節信息，所述三維卷積神經網絡中卷積核在時間維度的尺寸與所述幀組中幀的數量正相關；所述數據處理裝置融合所述至少兩個幀組中每個幀組的特征，以確定所述第一目標幀的細節特征，所述細節特征指示基于所述第一目標幀，從所述至少兩個幀組內的鄰近幀中獲取的細節信息；所述數據處理裝置根據所述細節特征和所述第一目標幀，獲取具有第二分辨率的第一目標幀，所述第二分辨率大于所述第一分辨率?？蛇x地，所述三維卷積神經網絡中卷積核在時間維度的尺寸越大，幀組中幀的數量也越大，可選地，所述三維卷積神經網絡中卷積核在時間維度的尺寸與所述幀組中幀的數量相等。

本申請實施例提供的數據處理方法，幀序列中第一目標幀超分過程中，先從幀序列中確定至少兩個幀組，幀組中包括該第一目標幀，分別將幀組輸入三維卷積神經網絡提取幀組的組特征，然后將組特征融合，確定第一目標幀的細節特征，根據該細節特征將第一分辨率的第一目標幀轉換為第二分辨率的第一目標幀。該數據處理方法，由于從幀序列中確定的幀組中包含第一目標幀，且三維卷積神經網絡中卷積核在時間維度的尺寸與所述幀組中幀的數量正相關，根據三維卷積神經網絡中卷積核在時間維度的尺寸，設置幀組中幀的室內，由此，通過三維卷積神經網絡提取幀組的特征時，不僅可以減少卷積核滑動，降低計算量，還可以得到目標幀的指導，細節特征提取效率高。