[發明專利]一種基于自適應可變形卷積的視頻幀插值方法及系統

在審

• 申請號: 201911032243.2
• 申請日: 2019-10-28
• 公開（公告）號: CN110809126A
• 公開（公告）日: 2020-02-18
• 發明（設計）人: 樊碩
• 申請（專利權）人: 北京影譜科技股份有限公司
• 主分類號: H04N7/01
• 分類號: H04N7/01
• 代理公司: 北京萬思博知識產權代理有限公司 11694
• 代理人: 姜楠楠

本申請提供了一種基于自適應可變形卷積的視頻幀插值方法及系統，在本申請提供的方法中，先讀取待處理視頻流，取得待處理視頻流中需要進行插值的相鄰的第一圖像幀和第二圖像幀，然后將這兩個圖像幀輸入預設的卷積神經網絡模型提取特征，并執行自適應可變形卷積操作，得到并輸出第一圖像幀和第二圖像幀的中間幀。基于本申請提供的基于自適應可變形卷積的視頻幀插值方法及系統，將基于核估計的方法和基于流圖估計的方法的優點相結合，彌補這兩種方法自身的局限性，能夠處理復雜的運動、低質量視頻幀和具有遮擋的情況，并進一步提升了提升視頻幀插值選取的效率及準確性。

技術領域

本申請涉及視頻處理技術領域，特別是涉及一種基于自適應可變形卷積的視頻幀插值方法及系統。

背景技術

視頻幀插值是計算機視覺中視頻處理領域的主要問題之一，是指合成連續幀中的中間幀的方法。使用該方法可以不用依靠專業高速攝像機而從普通視頻中獲得慢動作視頻，或者通過恢復下采樣視頻應用于視頻壓縮領域。

但是，對于傳統方案來講，部分方案需要大的存儲器并且在估計每個像素的內核時計算成本很高，并且不能處理大于內核大小的運動；另一部分針對每個輸出像素估計指向參考位置的流向量的方案，在當輸入幀為低質量時，很難處理復雜的運動情況。因此，現亟需提供一種效率更高的視頻幀插值方法。

發明內容

本申請的目的在于克服上述問題或者至少部分地解決或緩減解決上述問題。

根據本申請的一個方面，提供了一種基于自適應可變形卷積的視頻幀插值方法，包括：

讀取待處理視頻流，取得所述待處理視頻流中需要進行插值的相鄰的第一圖像幀和第二圖像幀；

將所述第一圖像幀和所述第二圖像幀輸入預設的卷積神經網絡模型；

通過所述卷積神經網絡模型分別提取所述第一圖像幀的第一圖像特征和所述第二圖像幀的第二圖像特征，并對所述第一圖像特征和第二圖像特征執行自適應可變形卷積操作，得到并輸出所述第一圖像幀和所述第二圖像幀的中間幀。

可選地，所述卷積神經網絡模型包括由編碼器和解碼器構建的特征提取子網絡；

所述通過所述卷積神經網絡模型分別提取所述第一圖像幀的第一圖像特征和所述第二圖像幀的第二圖像特征，包括：

通過所述卷積神經網絡模型中的特征提取子網絡分別提取所述第一圖像幀的第一圖像特征和所述第二圖像幀的第二圖像特征。

可選地，所述卷積神經網絡模型還包括：參數估計子網絡以及自適應可變形卷積子網絡；

所述對所述第一圖像特征和第二圖像特征執行自適應可變形卷積的操作，得到并輸出所述第一圖像幀和所述第二圖像幀的中間幀，包括：

將所述第一圖像特征和所述第二圖像特征輸入所述參數估計子網絡，以獲得執行自適應可變形卷積操作所需的預設參數；其中，所述預設參數包括：所述第一圖像幀和所述第二圖像幀中各像素點的內核權重和偏移矢量；

將所述第一圖像幀、第二圖像幀以及所述預設參數同時輸入所述自適應可變形卷積子網絡執行自適應可變形卷積操作，得到并輸出所述第一圖像幀和所述第二圖像幀的中間幀。

可選地，所述將所述第一圖像幀、第二圖像幀以及所述預設參數同時輸入所述自適應可變形卷積子網絡執行自適應可變形卷積操作，得到并輸出所述第一圖像幀和所述第二圖像幀的中間幀，包括：

將所述第一圖像幀、第二圖像幀以及所述預設參數同時輸入所述自適應可變形卷積子網絡，基于第一卷積公式執行自適應可變形卷積操作，得到并輸出所述第一圖像幀和所述第二圖像幀的中間幀；

所述第一卷積公式為：