[發明專利]視頻幀的插值裝置以及方法

有效

• 申請號: 202010431003.6
• 申請日: 2020-05-20
• 公開（公告）號: CN113727141B
• 公開（公告）日: 2023-05-12
• 發明（設計）人: 溫思寒;周靜;譚志明
• 申請（專利權）人: 富士通株式會社
• 主分類號: H04N21/234
• 分類號: H04N21/234;H04N21/2343;H04N21/44;H04N21/4402
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 田勇;陶海萍

本申請實施例提供一種視頻幀的插值裝置以及方法。所述方法包括：計算第一幀和第二幀之間的雙向光流；根據所述第一幀和所述第二幀進行核和權重估計；其中，使用一個卷積層生成自適應局部卷積核并且使用另一個卷積層生成權重系數；根據所述雙向光流、所述權重系數和所述自適應局部卷積核，使用自適應變換層對所述第一幀和所述第二幀進行變換以生成變換幀；以及對所述第一幀和所述第二幀、所述變換幀進行幀合成，以生成所述第一幀和所述第二幀之間的插值幀。

技術領域

本申請實施例涉及視頻處理技術領域。

背景技術

視頻幀的插值是計算機視覺中視頻處理領域的主要問題之一，可以合成連續幀中的插值幀(也可稱為中間幀)。視頻幀的插值可以應用于許多應用，例如視頻壓縮，慢動作生成、幀頻(frame?rate)上轉換(up-conversion)等。

在視頻幀的插值中，可以在輸入幀上找到用于估計每個像素值的參考位置，然后通過參考像素值得到輸出的插值幀的像素值。基于深度學習的視頻幀的插值可以包括核(kernel)估計方法，并自適應地為每個像素估計核，通過卷積操作來合成插值幀。此外還可以包括流估計方法，針對每個輸出像素估計指向參考位置的流向量。

目前，隨著深度卷積神經網絡的發展，該領域的許多方法都取得了長足的進步。例如，目前已經有參考文獻提出計算雙向光流，并基于自適應變換層(adaptive?warpinglayer)生成變換幀(也可稱為扭曲幀，warped?frame)，然后進行幀合成以獲得插值幀。

應該注意，上面對技術背景的介紹只是為了方便對本申請的技術方案進行清楚、完整的說明，并方便本領域技術人員的理解而闡述的。不能僅僅因為這些方案在本申請的背景技術部分進行了闡述而認為上述技術方案為本領域技術人員所公知。

發明內容

但是，發明人發現，由于較大的運動和遮擋等問題，光流的準確性仍然難以保證，要生成高質量的插值幀仍然很困難。

針對上述技術問題的至少之一，本申請實施例提供一種視頻幀的插值裝置以及方法，能夠進一步提高峰值信噪比(PSNR，Peak?Signal-to-Noise?Ratio)，生成高質量的插值幀。

根據本申請實施例的一個方面，提供一種視頻幀的插值裝置，包括：

光流計算單元，其計算第一幀和第二幀之間的雙向光流；

估計單元，其根據所述第一幀和所述第二幀進行核和權重估計；其中，使用一個卷積層生成自適應局部卷積核并且使用另一個卷積層生成權重系數；

變換單元，其根據所述雙向光流、所述權重系數和所述自適應局部卷積核，使用自適應變換層對所述第一幀和所述第二幀進行變換以生成變換幀；

合成單元，其對所述第一幀和所述第二幀、所述變換幀進行幀合成，以生成所述第一幀和所述第二幀之間的插值幀。

根據本申請實施例的另一個方面，提供一種視頻幀的插值方法，包括：

計算第一幀和第二幀之間的雙向光流；

根據所述第一幀和所述第二幀進行核和權重估計；其中，使用一個卷積層生成自適應局部卷積核并且使用另一個卷積層生成權重系數；

根據所述雙向光流、所述權重系數和所述自適應局部卷積核，使用自適應變換層對所述第一幀和所述第二幀進行變換以生成變換幀；以及

對所述第一幀和所述第二幀、所述變換幀進行幀合成，以生成所述第一幀和所述第二幀之間的插值幀。

本申請實施例的有益效果之一在于：根據第一幀和第二幀進行核和權重估計；其中，使用一個卷積層生成自適應局部卷積核并且使用另一個卷積層生成權重系數；由此，能夠充分利用來自相鄰像素的信息，能夠進一步提高PSNR，從而生成高質量的插值幀。