[發明專利]一種超分辨率視頻重建方法、裝置及電子設備

在審

• 申請號: 201910204955.1
• 申請日: 2019-03-18
• 公開（公告）號: CN110062282A
• 公開（公告）日: 2019-07-26
• 發明（設計）人: 宇哲倫;馮巍;柳政
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: H04N21/4402
• 分類號: H04N21/4402
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 丁蕓;項京

本發明實施例提供了一種超分辨率視頻重建方法、裝置及電子設備，首先CPU獲得第一分辨率的待處理視頻，將待處理視頻中的第一分辨率的每一視頻幀轉換為YUV格式，得到該視頻幀的第一分辨率下的Y分量Texture及UV分量Texture，并發送給GPU；GPU訪問已保存的GPU模型數據，對Y分量Texture和GPU模型數據進行卷積運算，得到第二分辨率的Y分量Texture；然后，將第一分辨率的UV分量Texture轉換為第二分辨率，再與第二分辨率的Y分量Texture合并，得到重建后的第二分辨率的視頻幀。由于將超分辨率重建模型的模型數據加載為浮點類型的GPU模型數據，因此能夠被GPU訪問，而GPU在進行圖像處理時并行度極高，可以避免播放視頻時出現卡頓現象，實現了視頻的實時超分辨率重建。

技術領域

本發明涉及圖像處理技術領域，特別是涉及一種超分辨率視頻重建方法、裝置及電子設備。

背景技術

隨著客戶端顯示設備的分辨率越來越高，用戶對觀看視頻的清晰度要求也逐漸提高。但有時受到上行帶寬或流量的限制，用戶卻只能選擇低分辨率的視頻觀看，這就白白浪費了顯示設備的高清屏幕。

超分辨率重建是近年來得到迅速發展的一項圖像放大技術，能夠利用一幅或多幅低分辨率圖像恢復高分辨率圖像，使模糊的圖像變得清晰。目前，在圖片上進行基于神經網絡的超分辨率重建算法已有不少。

然而，與圖片不同，視頻播放過程中，視頻的解碼和顯示需要消耗一定的時間，因此為了使播放畫面流暢，對超分辨率重建算法的實時性要求很高，而將基于神經網絡的超分辨率重建算法應用于視頻時，由于算法復雜，每一幀的超分辨率重建過程都十分耗時，導致了視頻的播放過程中出現卡頓。

發明內容

本發明實施例的目的在于提供一種超分辨率視頻重建方法、裝置及電子設備，以實現對視頻的實時超分辨率重建。具體技術方案如下：

第一方面，本發明實施例提供了一種超分辨率視頻重建方法，其特征在于，應用于終端，所述終端包括中央處理器CPU和圖形處理器GPU，所述方法包括：

所述CPU獲得第一分辨率的待處理視頻；

所述CPU獲得所述待處理視頻中的第一分辨率的每一視頻幀，將所述視頻幀的格式轉換為YUV格式，得到所述視頻幀的第一分辨率的Y分量紋理Texture 和第一分辨率的UV分量紋理Texture；

所述CPU將第一分辨率的Y分量Texture和第一分辨率的UV分量Texture發送給GPU；

所述GPU訪問已保存的預設超分辨率重建模型的GPU模型數據；

所述GPU對Y分量Texture和GPU模型數據進行卷積運算，得到超分辨率重建后的第二分辨率的Y分量Texture；

所述GPU將第一分辨率的UV分量Texture轉換為第二分辨率的UV分量 Texture；

所述GPU將第二分辨率的Y分量Texture與第二分辨率的UV分量Texture合并，得到第二分辨率的視頻幀；所述第二分辨率高于所述第一分辨率。

可選的，所述GPU模型數據，采用如下步驟保存至GPU：

所述CPU加載所述超分辨率重建模型的模型數據為浮點型float，獲得float 類型的模型數據；

將所述float類型的模型數據作為GPU模型數據保存至GPU。

可選的，所述GPU模型數據，采用如下步驟保存至GPU：

所述CPU加載所述超分辨率重建模型的模型數據為float類型，獲得float類型的模型數據；

利用R、G、B三個分量，存儲所述float類型的模型數據，形成模型數據Texture；