[發明專利]視頻流的超分辨率重建方法及裝置

有效

• 申請號: 202010143575.4
• 申請日: 2020-03-04
• 公開（公告）號: CN111489292B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 韓睿;郭若杉;李晨;莊重;李瑞玲;劉壯
• 申請（專利權）人: 北京集朗半導體科技有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/50;G06T7/20
• 代理公司: 北京成創同維知識產權代理有限公司 11449
• 代理人: 蔡純

1.一種視頻流的超分辨率重建方法，包括：

將視頻流中的目標視頻幀圖像劃分為多個圖像塊，針對于任一圖像塊，檢測該圖像塊的運動狀態；

統計所述目標視頻幀圖像中滿足預設條件的圖像塊所占的比例；其中；所述滿足預設條件的圖像塊包括：運動狀態為靜止狀態或者運動緩慢的圖像塊；

根據所述滿足預設條件的圖像塊所占的比例確定重建幀率，根據重建幀率確定各個待重建視頻幀圖像；其中，當重建幀率為第一幀率時，將每秒的視頻幀圖像中的各個視頻幀圖像確定為待重建視頻幀圖像；當重建幀率為第二幀率時，將每秒的視頻幀圖像中的N個視頻幀圖像確定為待重建視頻幀圖像；當重建幀率為第三幀率時，將每秒的視頻幀圖像中的M個視頻幀圖像確定為待重建視頻幀圖像；其中，N為小于每秒的視頻幀圖像的總數量的數值，M小于N，第二幀率小于第一幀率，第三幀率小于第二幀率；

基于預設的超分辨率網絡模型，對所述各個待重建視頻幀圖像進行超分辨率重建，得到各個待重建視頻幀圖像的超分辨率重建結果；

采用預設的縮放算法對視頻流逐幀進行放大，得到視頻流各個視頻幀圖像的放大結果；

將所述各個待重建視頻幀圖像的超分辨率重建結果以及各個視頻幀圖像的放大結果進行融合，得到視頻流的超分辨率重建結果。

2.根據權利要求1所述的方法，其中，所述基于預設的超分辨率網絡模型，對所述各個待重建視頻幀圖像進行超分辨率重建，得到各個待重建視頻幀圖像的超分辨率重建結果進一步包括：

針對任一待重建視頻幀圖像，檢測該待重建視頻幀圖像中各個圖像塊的運動狀態以及紋理豐富程度；

根據各個圖像塊的運動狀態以及紋理豐富程度確定目標圖像塊，其中，所述目標圖像塊包括：運動狀態為靜止狀態或運動緩慢并且紋理豐富的圖像塊；

基于預設的第一超分辨率網絡模型，對該待重建視頻幀圖像中的目標圖像塊進行重建，得到所述目標圖像塊的超分辨率重建結果；

基于預設的第二超分辨率網絡模型，對該待重建視頻幀圖像中的其他圖像塊進行重建，得到所述其他圖像塊的超分辨率重建結果。

3.根據權利要求2所述的方法，其中，所述基于預設的第一超分辨率網絡模型，對該待重建視頻幀圖像中的目標圖像塊進行重建進一步包括：

根據目標圖像塊所占的比例，選擇相應深度的第一超分辨率網絡模型，基于選擇的第一超分辨率網絡模型對目標圖像塊進行重建；

其中，目標圖像塊所占的比例越高，選擇的第一超分辨率網絡模型的深度越小。

4.根據權利要求1-3中任一項所述的方法，其中，所述將所述各個待重建視頻幀圖像的超分辨率重建結果以及各個視頻幀圖像的放大結果進行融合，得到視頻流的超分辨率重建結果進一步包括：

針對任一視頻幀圖像的放大圖像中的任一像素點，確定該像素點的放大結果的權重；以及確定該視頻幀圖像對應的超分辨率重建結果中該像素點的超分辨率重建結果的權重；

計算所述該像素點的放大結果以及所述該視頻幀圖像對應的超分辨率重建結果中該像素點的超分辨率重建結果的加權和，將加權結果確定為該像素點最終的超分辨率重建結果。

5.根據權利要求4所述的方法，其中，所述根據所述滿足預設條件的圖像塊所占的比例確定重建幀率具體包括：

當所述滿足預設條件的圖像塊所占的比例小于第一閾值時，確定重建幀率為第一幀率；

當所述滿足預設條件的圖像塊所占的比例位于第一閾值到第二閾值之間時，確定重建幀率為第二幀率；其中，第二閾值大于第一閾值；

當所述滿足預設條件的圖像塊所占的比例大于第二閾值時，確定重建幀率為第三幀率。

6.根據權利要求5所述的方法，其中，當重建幀率為第二幀率或者第三幀率時，若該視頻幀圖像未被確認為待重建視頻幀圖像，該視頻幀圖像對應的超分辨率重建結果具體為：該視頻幀圖像之前最近的待重建視頻幀圖像的超分辨率重建結果。