[發(fā)明專利]一種超分辨率視頻重建方法、裝置及電子設(shè)備

在審

• 申請?zhí)枺?/td>: 201910204955.1
• 申請日: 2019-03-18
• 公開（公告）號: CN110062282A
• 公開（公告）日: 2019-07-26
• 發(fā)明（設(shè)計）人: 宇哲倫;馮巍;柳政
• 申請（專利權(quán)）人: 北京奇藝世紀(jì)科技有限公司
• 主分類號: H04N21/4402
• 分類號: H04N21/4402
• 代理公司: 北京柏杉松知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11413
• 代理人: 丁蕓;項京

1.一種超分辨率視頻重建方法，其特征在于，應(yīng)用于終端，所述終端包括中央處理器CPU和圖形處理器GPU，所述方法包括：

所述CPU獲得第一分辨率的待處理視頻；

所述CPU獲得所述待處理視頻中的第一分辨率的每一視頻幀，將所述視頻幀的格式轉(zhuǎn)換為YUV格式，得到所述視頻幀的第一分辨率的Y分量紋理Texture和第一分辨率的UV分量紋理Texture；

所述CPU將第一分辨率的Y分量Texture和第一分辨率的UV分量Texture發(fā)送給GPU；

所述GPU訪問已保存的預(yù)設(shè)超分辨率重建模型的GPU模型數(shù)據(jù)；

所述GPU對Y分量Texture和GPU模型數(shù)據(jù)進(jìn)行卷積運算，得到超分辨率重建后的第二分辨率的Y分量Texture；

所述GPU將第一分辨率的UV分量Texture轉(zhuǎn)換為第二分辨率的UV分量Texture；

所述GPU將第二分辨率的Y分量Texture與第二分辨率的UV分量Texture合并，得到第二分辨率的視頻幀；所述第二分辨率高于所述第一分辨率。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述GPU模型數(shù)據(jù)，采用如下步驟保存至GPU：

所述CPU加載所述超分辨率重建模型的模型數(shù)據(jù)為浮點型float，獲得float類型的模型數(shù)據(jù)；

將所述float類型的模型數(shù)據(jù)作為GPU模型數(shù)據(jù)保存至GPU。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述GPU模型數(shù)據(jù)，采用如下步驟保存至GPU：

所述CPU加載所述超分辨率重建模型的模型數(shù)據(jù)為float類型，獲得float類型的模型數(shù)據(jù)；

利用R、G、B三個分量，存儲所述float類型的模型數(shù)據(jù)，形成模型數(shù)據(jù)Texture；

將模型數(shù)據(jù)Texture作為GPU模型數(shù)據(jù)保存至GPU。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述利用R、G、B三個分量，存儲所述float類型的模型數(shù)據(jù)，形成模型數(shù)據(jù)Texture的步驟，包括：

將所述float類型的模型數(shù)據(jù)中的每3個模型數(shù)值，存儲至一個像素點的R分量、G分量和B分量中，形成模型數(shù)據(jù)Texture。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，將所述float類型的模型數(shù)據(jù)中的每3個模型數(shù)值，存儲至一個像素點的R分量、G分量和B分量中的步驟之后，還包括：

將每個像素點復(fù)制n×n個，形成n×n結(jié)構(gòu)的float類型的模型數(shù)據(jù)Texture；

所述將模型數(shù)據(jù)Texture作為GPU模型數(shù)據(jù)保存至GPU的步驟，包括：

將n×n結(jié)構(gòu)的float類型的模型數(shù)據(jù)Texture作為GPU模型數(shù)據(jù)保存至GPU。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述GPU訪問已保存的超分辨率重建模型的GPU模型數(shù)據(jù)的步驟，包括：

所述GPU按照預(yù)設(shè)的每個可用像素點的索引，訪問所述模型數(shù)據(jù)Texture中索引對應(yīng)的各個可用像素點的R分量、G分量和B分量對應(yīng)的模型數(shù)值；

所述GPU對Y分量Texture和GPU模型數(shù)據(jù)進(jìn)行卷積運算，得到超分辨率重建后的第二分辨率的Y分量Texture的步驟，包括：

所述GPU對所述Y分量Texture和所述模型數(shù)據(jù)Texture中索引對應(yīng)的各個可用像素點的R分量、G分量和B分量對應(yīng)的模型數(shù)值進(jìn)行卷積運算，得到超分辨率重建后的第二分辨率的Y分量Texture。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述GPU將第一分辨率的UV分量Texture轉(zhuǎn)換為第二分辨率的UV分量Texture的步驟，包括：

所述GPU根據(jù)插值算法，對所述第一分辨率的UV分量Texture進(jìn)行插值，獲得第二分辨率的UV分量Texture。