[發(fā)明專利]高質(zhì)量視頻重建方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110230314.0
• 申請(qǐng)日: 2021-03-02
• 公開(kāi)（公告）號(hào): CN113033616B
• 公開(kāi)（公告）日: 2022-12-02
• 發(fā)明（設(shè)計(jì)）人: 田永鴻;馬力;彭佩璽;邢培銀;高文
• 申請(qǐng)（專利權(quán)）人: 北京大學(xué)
• 主分類號(hào): G06V10/80
• 分類號(hào): G06V10/80;G06V20/40;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京辰權(quán)知識(shí)產(chǎn)權(quán)代理有限公司 11619
• 代理人: 付婧

本發(fā)明公開(kāi)了一種高質(zhì)量視頻重建方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，所述方法包括提取參考視頻流以及原始視頻流的深度學(xué)習(xí)特征，得到參考特征流以及原始特征流；將所述參考特征流和原始特征流進(jìn)行特征融合，得到融合特征流；根據(jù)所述融合特征流對(duì)待處理的低分辨率視頻流進(jìn)行視頻重建，得到高質(zhì)量的視頻流。根據(jù)本公開(kāi)實(shí)施例提供的高質(zhì)量視頻重建方法，可以對(duì)低分辨率的視頻流進(jìn)行視頻重建，利用云端匯聚的低分辨率視頻流以及深度學(xué)習(xí)特征，恢復(fù)出高質(zhì)量的視頻流。

技術(shù)領(lǐng)域

本發(fā)明涉及視頻數(shù)據(jù)處理技術(shù)領(lǐng)域，特別涉及一種高質(zhì)量視頻重建方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

近年來(lái)，隨著互聯(lián)網(wǎng)、直播和監(jiān)控等領(lǐng)域的快速發(fā)展，視頻數(shù)據(jù)無(wú)論在數(shù)量上還是在應(yīng)用上都呈現(xiàn)爆炸式增長(zhǎng)，給帶寬和存儲(chǔ)帶來(lái)了巨大的挑戰(zhàn)。傳統(tǒng)的基于視頻編碼技術(shù)的大數(shù)據(jù)解決方案將視頻進(jìn)行壓縮后再傳輸?shù)皆贫耍欢曨l壓縮效率的發(fā)展已經(jīng)難以滿足視頻大數(shù)據(jù)對(duì)高壓縮率的需求。受“生物視網(wǎng)膜同時(shí)具有影像重構(gòu)與特征提取功能”這一特征的啟發(fā)，有研究提出了數(shù)字視網(wǎng)膜架構(gòu)，解決了視頻大數(shù)據(jù)實(shí)時(shí)匯聚與分析的技術(shù)瓶頸。在云端匯聚的有低分辨率視頻與深度學(xué)習(xí)特征，因此如何利用二者恢復(fù)出高質(zhì)量的視頻以供人觀看，是一項(xiàng)技術(shù)難題。

發(fā)明內(nèi)容

本公開(kāi)實(shí)施例提供了一種高質(zhì)量視頻重建方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。為了對(duì)披露的實(shí)施例的一些方面有一個(gè)基本的理解，下面給出了簡(jiǎn)單的概括。該概括部分不是泛泛評(píng)述，也不是要確定關(guān)鍵/重要組成元素或描繪這些實(shí)施例的保護(hù)范圍。其唯一目的是用簡(jiǎn)單的形式呈現(xiàn)一些概念，以此作為后面的詳細(xì)說(shuō)明的序言。

第一方面，本公開(kāi)實(shí)施例提供了一種高質(zhì)量視頻重建方法，包括：

提取參考視頻流以及原始視頻流的深度學(xué)習(xí)特征，得到參考特征流以及原始特征流；

將參考特征流和原始特征流進(jìn)行特征融合，得到融合特征流；

根據(jù)融合特征流對(duì)待處理的低分辨率視頻流進(jìn)行視頻重建，得到高質(zhì)量的視頻流。

在一個(gè)可選地實(shí)施例中，提取參考視頻流以及原始視頻流的深度學(xué)習(xí)特征之前，還包括：

獲取高質(zhì)量的參考視頻流以及攝像頭拍攝的原始視頻流。

在一個(gè)可選地實(shí)施例中，將參考特征流和原始特征流進(jìn)行特征融合，得到融合特征流，包括：

將參考特征流和原始特征流輸入第一神經(jīng)網(wǎng)絡(luò)模型進(jìn)行特征融合，得到融合特征流。

在一個(gè)可選地實(shí)施例中，根據(jù)融合特征流對(duì)待處理的低分辨率視頻流進(jìn)行視頻重建之前，還包括：

將原始視頻流壓縮成低分辨率視頻流；

獲取低分辨率視頻流。

在一個(gè)可選地實(shí)施例中，根據(jù)融合特征流對(duì)待處理的低分辨率視頻流進(jìn)行視頻重建，得到高質(zhì)量的視頻流，包括：

提取低分辨率視頻流的像素特征；

計(jì)算融合特征流的相關(guān)性；

將融合特征流的相關(guān)性映射到像素特征的相關(guān)性；

將像素特征的相關(guān)性和低分辨率視頻流的像素特征輸入第二神經(jīng)網(wǎng)絡(luò)模型，得到重建的高質(zhì)量視頻流。

在一個(gè)可選地實(shí)施例中，提取低分辨率視頻流的像素特征，包括：

通過(guò)第三神經(jīng)網(wǎng)絡(luò)模型提取低分辨率視頻流的像素特征，或，

通過(guò)濾波核提取低分辨率視頻流的像素特征。

第二方面，本公開(kāi)實(shí)施例提供了一種高質(zhì)量視頻重建裝置，包括：

特征提取模塊，用于提取參考視頻流以及原始視頻流的深度學(xué)習(xí)特征，得到參考特征流以及原始特征流；