[發明專利]視頻圖像處理方法、裝置、電子設備及存儲介質

在審

• 申請號: 202210433580.8
• 申請日: 2022-04-24
• 公開（公告）號: CN114782250A
• 公開（公告）日: 2022-07-22
• 發明（設計）人: 張楚熠;羅亞明;江文樂;楊潔瓊
• 申請（專利權）人: 中國工商銀行股份有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 劉熔;董驍毅

本發明公開了一種視頻圖像處理方法、裝置、電子設備及存儲介質，涉及人工智能領域，方法包括：獲取待處理視頻圖像的每一個幀圖像；根據各幀圖像中每個像素點的亮度色度信息對各幀圖像進行通道分離處理，以生成亮度通道圖像和色度通道圖像；基于監督學習方法和預定的超分辨率比例對所述亮度通道圖像進行超分辨率處理，以得到超分辨率處理后的亮度圖像；基于插值算法和所述預定的超分辨率比例對所述色度通道圖像進行超分辨率處理，以得到超分辨率處理后的色度圖像；基于預定編碼方式將超分辨率處理后的亮度圖像和色度圖像進行合成處理，以得到完整的超分辨率視頻幀圖像。通過本發明，可以得到效果更好地高分辨率視頻圖像。

技術領域

本發明涉及人工智能領域，具體涉及一種視頻圖像處理方法、裝置、電子設備及存儲介質。

背景技術

目前，視頻超分辨率技術是目前廣泛使用的視頻處理技術，在視頻傳播越來越廣的今天，人們對視頻質量的追求越來越高，因此視頻超分辨率處理技術這種能提高視頻質量的技術越來越多地得到應用。同時在帶寬受限的情況下，使用低分辨率傳輸然后再使用超分辨率處理得到最終圖像的方式得到了很大地發展，視頻超分辨率技術未來必將在更多領域得到使用。然而，傳統的視頻超分辨率處理技術存在處理效果不佳的問題，而基于人工智能機器學習的超分辨率處理存在性能瓶頸與過擬合的問題。

發明內容

有鑒于此，本發明提供一種視頻圖像處理方法、裝置、電子設備及存儲介質，以解決上述提及的至少一個問題。

根據本發明的第一方面，提供一種視頻圖像處理方法，所述方法包括：

獲取待處理視頻圖像的每一個幀圖像；

根據各幀圖像中每個像素點的亮度色度信息對各幀圖像進行通道分離處理，以生成亮度通道圖像和色度通道圖像；

基于監督學習方法和預定的超分辨率比例對所述亮度通道圖像進行超分辨率處理，以得到超分辨率處理后的亮度圖像；

基于插值算法和所述預定的超分辨率比例對所述色度通道圖像進行超分辨率處理，以得到超分辨率處理后的色度圖像；

基于預定編碼方式將超分辨率處理后的亮度圖像和色度圖像進行合成處理，以得到完整的超分辨率視頻幀圖像。

進一步地，所述預定的超分辨率比例通過如下方式確定：根據所述待處理視頻圖像的分辨率與目標分辨率確定所述預定的超分辨率比例，所述目標分辨率為所述超分辨率視頻幀圖像的分辨率。

具體地，所述亮度色度信息為YUV信息，根據各幀圖像中每個像素點的亮度色度信息對各幀圖像進行通道分離處理包括：獲取各幀圖像中每個像素點的RGB顏色信息；基于預定的轉換方式將所述每個像素點的RGB顏色信息轉換為YUV信息；根據所述YUV信息對各幀圖像進行通道分離處理。

具體地，基于監督學習方法和預定的超分辨率比例對所述亮度通道圖像進行超分辨率處理，以得到超分辨率處理后的亮度圖像包括：將所述亮度通道圖像輸入至訓練好的自監督學習模型；所述自監督學習模型基于所述預定的超分辨率比例對所述亮度通道圖像進行壓縮處理，以生成所述超分辨率處理后的亮度圖像。

優選地，基于插值算法和所述預定的超分辨率比例對所述色度通道圖像進行超分辨率處理包括：基于插值算法和所述預定的超分辨率比例、以及所述色度通道圖像中各像素點的色度值對所述色度通道圖像進行超分辨率處理。

具體地，基于插值算法和所述預定的超分辨率比例、以及所述色度通道圖像中各像素點的色度值對所述色度通道圖像進行超分辨率處理包括：

根據所述預定的超分辨率比例確定所述色度通道圖像中各像素點在目標圖像中的目標位置；

根據所述色度通道圖像中各像素點的色度值確定相應的目標位置的色度值；當目標位置上色度值為零時，基于所述插值算法和該目標位置預定范圍內的其他目標位置的色度值，確定該目標位置的色度值；