[發(fā)明專利]視頻幀的插值裝置以及方法

有效

• 申請?zhí)枺?/td>: 202010431003.6
• 申請日: 2020-05-20
• 公開（公告）號: CN113727141B
• 公開（公告）日: 2023-05-12
• 發(fā)明（設(shè)計）人: 溫思寒;周靜;譚志明
• 申請（專利權(quán)）人: 富士通株式會社
• 主分類號: H04N21/234
• 分類號: H04N21/234;H04N21/2343;H04N21/44;H04N21/4402
• 代理公司: 北京三友知識產(chǎn)權(quán)代理有限公司 11127
• 代理人: 田勇;陶海萍

1.一種視頻幀的插值裝置，其特征在于，所述裝置包括：

光流計算單元，其計算第一幀和第二幀之間的雙向光流；

估計單元，其根據(jù)所述第一幀和所述第二幀進行核和權(quán)重估計；其中，使用一個卷積層生成自適應(yīng)局部卷積核并且使用另一個卷積層生成權(quán)重系數(shù)；

變換單元，其根據(jù)所述雙向光流、所述權(quán)重系數(shù)和所述自適應(yīng)局部卷積核，使用自適應(yīng)變換層對所述第一幀和所述第二幀進行變換以生成變換幀；以及

合成單元，其對所述第一幀和所述第二幀、所述變換幀進行幀合成，以生成所述第一幀和所述第二幀之間的插值幀。

2.根據(jù)權(quán)利要求1所述的裝置，其中，所述裝置還包括：

加權(quán)單元，其根據(jù)所述權(quán)重系數(shù)對所述雙向光流進行加權(quán)。

3.根據(jù)權(quán)利要求1所述的裝置，其中，所述自適應(yīng)局部卷積核將不同權(quán)重分配給當前像素周圍的相鄰多個像素，并且所述自適應(yīng)變換層根據(jù)所述相鄰多個像素生成所述當前像素的值。

4.根據(jù)權(quán)利要求1所述的裝置，其中，所述估計單元用于：

對所述第一幀和所述第二幀進行特征提取并進行多次下采樣以獲得不同維度的特征；

對所獲得的最高維度的特征進行多次上采樣以獲得處理后的特征；

對所述處理后的特征使用第一卷積層并使用relu函數(shù)以獲得所述自適應(yīng)局部卷積核；以及

對所述處理后的特征使用第二卷積層并使用sigmoid函數(shù)以獲得所述權(quán)重系數(shù)。

5.根據(jù)權(quán)利要求4所述的裝置，其中，由所述多次下采樣獲得不同維度的下采樣特征，由所述多次上采樣獲得不同維度的上采樣特征；

所述估計單元還用于：將第一維度的下采樣特征與相同維度的上采樣特征進行求和，并作為卷積層的輸入以獲得第二維度的上采樣特征。

6.根據(jù)權(quán)利要求1所述的裝置，其中，所述自適應(yīng)變換層對所述第一幀和所述第二幀進行變換以生成至少兩個變換幀；

所述裝置還包括：

值計算單元，其計算所述至少兩個變換幀之間的差值，并且計算所述至少兩個變換幀的平均值。

7.根據(jù)權(quán)利要求6所述的裝置，其中，所述合成單元還用于：將所述第一幀和所述第二幀、所述差值和所述平均值作為所述幀合成的輸入。

8.根據(jù)權(quán)利要求1所述的裝置，其中，在所述幀合成中使用殘差結(jié)構(gòu)，以及在所述殘差結(jié)構(gòu)之后使用可變形卷積網(wǎng)絡(luò)。

9.根據(jù)權(quán)利要求1所述的裝置，其中，所述估計單元還用于：根據(jù)計算出的所述雙向光流、所述第一幀和所述第二幀進行所述核和權(quán)重估計。

10.一種視頻幀的插值方法，其特征在于，所述方法包括：

計算第一幀和第二幀之間的雙向光流；

根據(jù)所述第一幀和所述第二幀進行核和權(quán)重估計；其中使用一個卷積層生成自適應(yīng)局部卷積核并且使用另一個卷積層生成權(quán)重系數(shù)；

根據(jù)所述雙向光流、所述權(quán)重系數(shù)和所述自適應(yīng)局部卷積核，使用自適應(yīng)變換層對所述第一幀和所述第二幀進行變換以生成變換幀；以及

對所述第一幀和所述第二幀、所述變換幀進行幀合成，以生成所述第一幀和所述第二幀之間的插值幀。