[發明專利]視頻處理方法、裝置、計算機設備及介質

在審

• 申請號: 202210458499.5
• 申請日: 2022-04-24
• 公開（公告）號: CN114897688A
• 公開（公告）日: 2022-08-12
• 發明（設計）人: 磯部駿;陶鑫;戴宇榮
• 申請（專利權）人: 北京達佳互聯信息技術有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/50;G06T7/223;G06T7/254;G06T7/269
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 李加欣

本公開關于一種視頻處理方法、裝置、計算機設備及介質，屬于互聯網技術領域。本公開實施例中，通過獲取樣本視頻中圖像對的運動信息，利用該圖像對的運動信息，來獲取該圖像對中運動信息滿足運動條件的圖像塊對，如此，通過設置運動條件，利用圖像對的兩幀圖像的運動信息，來判斷圖像對的兩幀圖像的運動信息是否滿足運動條件，以獲取到包含更多運動信息的圖像塊，進而基于所獲取的圖像塊對進行模型訓練，使得超分辨模型基于能夠關注于相鄰兩幀圖像之間的運動變化，豐富了模型訓練所參考的信息，能夠訓練出準確性高的超分辨模型，進而提升了超分辨重建的準確性，也就提升了視頻處理的準確性。

技術領域

本公開涉及互聯網技術領域，尤其涉及一種視頻處理方法、裝置、計算機設備及介質。

背景技術

在視頻技術領域中，超分辨重建技術有著廣泛的應用范圍和研究意義，其中，超分辨重建技術是利用一個圖像來重建出相應時刻像素密度更高、細節更完整的高分辨率圖像。且隨著深度學習的發展，基于神經網絡的超分辨重建技術獲得了較快的發展。

目前，在基于神經網絡對視頻進行超分辨重建之前，需要先對神經網絡進行訓練，以得到具備超分辨重建功能的超分辨模型，其中，神經網絡的訓練數據，通常需要在多個樣本視頻中，采用隨機截取的方式進行截取，以得到樣本視頻中的圖像塊，將這些圖像塊作為神經網絡的訓練數據，來進行模型訓練。

然而，由于隨機截取的不確定性，經常會截取到包含信息很少的圖像塊，因此，利用這些圖像塊訓練出的超分辨模型的準確性較低，進而降低了超分辨重建的準確性，也就降低了視頻處理的準確性。

發明內容

本公開提供一種視頻處理方法、裝置、計算機設備及介質，能夠訓練出準確性高的超分辨模型，進而提升了超分辨重建的準確性，也就提升了視頻處理的準確性。本公開的技術方案如下：

根據本公開實施例的第一方面，提供一種視頻處理方法，該方法包括：

獲取樣本視頻中圖像對的運動信息，該圖像對包括該樣本視頻中相鄰的一對圖像，該運動信息表示該圖像對的兩幀圖像之間的像素運動情況；

從該圖像對中，獲取運動信息滿足運動條件的樣本圖像塊對，該樣本圖像塊對中的兩個樣本圖像塊分別位于該圖像對的兩幀圖像；

基于該樣本視頻中的多對該樣本圖像塊對，進行模型訓練，得到超分辨模型，該超分辨模型用于對視頻進行超分辨重建。

本公開實施例中，通過獲取樣本視頻中圖像對的運動信息，利用該圖像對的運動信息，來獲取該圖像對中運動信息滿足運動條件的圖像塊對，如此，通過設置運動條件，利用圖像對的兩幀圖像的運動信息，來判斷圖像對的兩幀圖像的運動信息是否滿足運動條件，以獲取到包含更多運動信息的圖像塊，進而基于所獲取的圖像塊對進行模型訓練，使得超分辨模型基于能夠關注于相鄰兩幀圖像之間的運動變化，豐富了模型訓練所參考的信息，能夠訓練出準確性高的超分辨模型，進而提升了超分辨重建的準確性，也就提升了視頻處理的準確性。

在一些實施例中，獲取樣本視頻中圖像對的運動信息包括下述任一項：

獲取該樣本視頻中圖像對的光流信息，該光流信息表示該圖像對中前一幀圖像的像素移動至后一幀圖像的移動量；或，獲取該樣本視頻中圖像對的時序差分信息，該時序差分信息表示該圖像對的兩幀圖像在時序上的運動變化。

本公開實施例中，提供了光流法和時序差分法這兩種獲取圖像對的運動信息的方式，均能夠快速獲取到圖像對的運動信息，提高了獲取運動信息的靈活性，其中，通過獲取圖像對的光流信息，由于該光流信息能夠表示圖像對中前一幀圖像的像素移動至后一幀圖像的移動量，也就能夠表示該圖像對的兩幀圖像之間的像素運動情況，以便后續利用該光流信息進行運動條件的判斷過程，通過獲取圖像對的時序差分信息，由于該時序差分信息能夠表示該圖像對的兩幀圖像在時序上的運動變化，也就能夠表示該圖像對的兩幀圖像之間的像素運動情況，以便后續利用該時序差分信息進行運動條件的判斷過程。