[發明專利]一種基于自適應可變形卷積的視頻幀插值方法及系統

在審

• 申請號: 201911032243.2
• 申請日: 2019-10-28
• 公開（公告）號: CN110809126A
• 公開（公告）日: 2020-02-18
• 發明（設計）人: 樊碩
• 申請（專利權）人: 北京影譜科技股份有限公司
• 主分類號: H04N7/01
• 分類號: H04N7/01
• 代理公司: 北京萬思博知識產權代理有限公司 11694
• 代理人: 姜楠楠

1.一種基于自適應可變形卷積的視頻幀插值方法，包括：

讀取待處理視頻流，取得所述待處理視頻流中需要進行插值的相鄰的第一圖像幀和第二圖像幀；

將所述第一圖像幀和所述第二圖像幀輸入預設的卷積神經網絡模型；

通過所述卷積神經網絡模型分別提取所述第一圖像幀的第一圖像特征和所述第二圖像幀的第二圖像特征，并對所述第一圖像特征和第二圖像特征執行自適應可變形卷積操作，得到并輸出所述第一圖像幀和所述第二圖像幀的中間幀。

2.根據權利要求1所述的方法，其特征在于，所述卷積神經網絡模型包括由編碼器和解碼器構建的特征提取子網絡；

所述通過所述卷積神經網絡模型分別提取所述第一圖像幀的第一圖像特征和所述第二圖像幀的第二圖像特征，包括：

通過所述卷積神經網絡模型中的特征提取子網絡分別提取所述第一圖像幀的第一圖像特征和所述第二圖像幀的第二圖像特征。

3.根據權利要求1所述的方法，其特征在于，所述卷積神經網絡模型還包括：參數估計子網絡以及自適應可變形卷積子網絡；

所述對所述第一圖像特征和第二圖像特征執行自適應可變形卷積的操作，得到并輸出所述第一圖像幀和所述第二圖像幀的中間幀，包括：

將所述第一圖像特征和所述第二圖像特征輸入所述參數估計子網絡，以獲得執行自適應可變形卷積操作所需的預設參數；其中，所述預設參數包括：所述第一圖像幀和所述第二圖像幀中各像素點的內核權重和偏移矢量；

將所述第一圖像幀、第二圖像幀以及所述預設參數同時輸入所述自適應可變形卷積子網絡執行自適應可變形卷積操作，得到并輸出所述第一圖像幀和所述第二圖像幀的中間幀。

4.根據權利要求3所述的方法，其特征在于，所述將所述第一圖像幀、第二圖像幀以及所述預設參數同時輸入所述自適應可變形卷積子網絡執行自適應可變形卷積操作，得到并輸出所述第一圖像幀和所述第二圖像幀的中間幀，包括：

將所述第一圖像幀、第二圖像幀以及所述預設參數同時輸入所述自適應可變形卷積子網絡，基于第一卷積公式執行自適應可變形卷積操作，得到并輸出所述第一圖像幀和所述第二圖像幀的中間幀；

所述第一卷積公式為：

其中，W_k.l(i,j)表示像素點(i,j)處、內核位置(k,l)處的權重大小；(α_k,l,β_k,l)表示偏移量；I表示經自適應可變形卷積操作前的圖像；表示經自適應可變形卷積操作后的圖像。

5.根據權利要求4所述的方法，其特征在于，所述將所述相鄰圖像幀、每個所述像素塊數據的內核權重和偏移矢量同時輸入自適應可變形卷積神經網絡，合成并輸出插幀后的視頻流之前，還包括：

若判斷所述第一圖像幀或第二圖像幀中存在不可見像素點，則定義遮擋系數并與所述第一圖像幀、第二圖像幀、預設參數同時輸入所述自適應可變形卷積子網絡，經過空間變化進行逐像素相乘的卷積操作，得到并輸出所述中間幀。

6.根據權利要求5所述的方法，其特征在于，所述定義遮擋系數并與所述第一圖像幀、第二圖像幀、預設參數同時輸入所述自適應可變形卷積子網絡，經過空間變化進行逐像素相乘的卷積操作，得到并輸出所述中間幀，包括：

定義遮擋系數V∈[0,1]^M×N，并與所述第一圖像幀、第二圖像幀、預設參數同時輸入所述自適應可變形卷積子網絡，經過空間變化并基于第二卷積公式進行逐像素相乘的卷積操作，得到并輸出所述中間幀；

所述第二卷積公式為：

I_out＝Ve T_f(I_n)+(J_M，N-V)e T_b(I_n+1)

其中，表示逐像素乘法；J_M,N表示M×N的矩陣；T_f表示前項空間變換；T_b表示后項空間變換；M×N表示輸入圖像和輸出圖像的大小。