[發明專利]高質量視頻重建方法、裝置、設備及存儲介質

有效

• 申請號: 202110230314.0
• 申請日: 2021-03-02
• 公開（公告）號: CN113033616B
• 公開（公告）日: 2022-12-02
• 發明（設計）人: 田永鴻;馬力;彭佩璽;邢培銀;高文
• 申請（專利權）人: 北京大學
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V20/40;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京辰權知識產權代理有限公司 11619
• 代理人: 付婧

1.一種高質量視頻重建方法，其特征在于，包括：

獲取高質量的參考視頻流以及攝像頭拍攝的原始視頻流；

提取參考視頻流以及原始視頻流的深度學習特征，得到參考特征流以及原始特征流；

將所述參考特征流和原始特征流進行特征融合，得到融合特征流；

根據所述融合特征流對待處理的低分辨率視頻流進行視頻重建，得到高質量的視頻流，包括：提取所述低分辨率視頻流的像素特征；計算所述融合特征流的相關性；將所述融合特征流的相關性映射到像素特征的相關性；將所述像素特征的相關性和所述低分辨率視頻流的像素特征輸入第二神經網絡模型，得到重建的高質量視頻流。

2.根據權利要求1所述的方法，其特征在于，將所述參考特征流和原始特征流進行特征融合，得到融合特征流，包括：

將所述參考特征流和原始特征流輸入第一神經網絡模型進行特征融合，得到融合特征流。

3.根據權利要求1所述的方法，其特征在于，根據所述融合特征流對待處理的低分辨率視頻流進行視頻重建之前，還包括：

將所述原始視頻流壓縮成低分辨率視頻流；

獲取所述低分辨率視頻流。

4.根據權利要求1所述的方法，其特征在于，提取所述低分辨率視頻流的像素特征，包括：

通過第三神經網絡模型提取所述低分辨率視頻流的像素特征，或，

通過濾波核提取所述低分辨率視頻流的像素特征。

5.一種高質量視頻重建裝置，其特征在于，包括：

獲取模塊，用于獲取高質量的參考視頻流以及攝像頭拍攝的原始視頻流；

特征提取模塊，用于提取參考視頻流以及原始視頻流的深度學習特征，得到參考特征流以及原始特征流；

特征融合模塊，用于將所述參考特征流和原始特征流進行特征融合，得到融合特征流；

視頻重建模塊，用于根據所述融合特征流對待處理的低分辨率視頻流進行視頻重建，得到高質量的視頻流，包括：提取所述低分辨率視頻流的像素特征；計算所述融合特征流的相關性；將所述融合特征流的相關性映射到像素特征的相關性；將所述像素特征的相關性和所述低分辨率視頻流的像素特征輸入第二神經網絡模型，得到重建的高質量視頻流。

6.一種高質量視頻重建設備，其特征在于，包括處理器和存儲有程序指令的存儲器，所述處理器被配置為在執行所述程序指令時，執行如權利要求1至4任一項所述的高質量視頻重建方法。

7.一種計算機可讀介質，其特征在于，其上存儲有計算機可讀指令，所述計算機可讀指令可被處理器執行以實現如權利要求1至4任一項所述的一種高質量視頻重建方法。