[發明專利]一種基于數據協同的水下高速視頻插幀方法及其系統

有效

• 申請號: 202310076493.6
• 申請日: 2023-02-08
• 公開（公告）號: CN115883764B
• 公開（公告）日: 2023-05-23
• 發明（設計）人: 姜宇;齊紅;趙明浩;王躍航;張永霽;魏楓林;王凱
• 申請（專利權）人: 吉林大學
• 主分類號: H04N7/01
• 分類號: H04N7/01;H04N5/265;G06N3/0464
• 代理公司: 哈爾濱市陽光惠遠知識產權代理有限公司 23211
• 代理人: 姜明君

一種基于數據協同的水下高速視頻插幀方法及其系統。通過傳統相機和事件相機分別獲取RGB數據和事件數據；將獲取的RGB數據和事件數據利用U型合成網絡融合，獲取合成結果；利用合成結果和獲取的RGB數據經過三層多尺度光流估計網絡進行幀光流估計；利用獲取的RGB數據和事件數據經過三層多尺度光流估計網絡進行事件光流估計；將融合結果、經過三層多尺度光流估計網絡進行的幀光流估計結果與經過三層多尺度光流估計網絡進行的事件光流估計通過U型融合網絡進行融合，輸出中間幀。本發明實現利用RGB數據和事件數據生成視頻的中間幀，提高視頻的幀率，優化在水下場景下非線性運動下插幀效果的魯棒性。

技術領域

本發明屬于視頻幀合成領域，具體涉及一種基于RGB數據和事件數據協同的水下高速視頻插幀方法及其系統。

背景技術

事件相機由于其低時延、高動態的特點，在近年來已經能到了極大的關注，在計算機視覺領域中已經成為了熱門話題，水下視頻插幀的目的是為了可以在給定的水下低幀率的視頻中，通過前后幀信息合理地還原出中間幀的圖像，盡可能地接近真實的運動軌跡，從而提高視頻的幀率。水下視頻插幀具有極高的應用價值，水下高幀率視頻的錄制成本極高，而低幀率視頻很容易利用各種設備獲取。比如水下動物快速移動，水底設備轉動，這些快速運動目前的常規設備很難獲得完整的視覺圖像，主要是因為視頻的幀率不夠高，導致從視覺角度來看動作不夠連貫、不夠清晰。視頻插針方法可以有效地通過提高視頻的幀率解決這個問題。

但是現有的視頻插針方法在面臨非線性運動的情況時，運動估計并不準確，細節并不完整。現有技術主要是基于運動估計的方法和核的方法，核的方法主要是使用可變形卷積估計幀間運動，但是基于核的方法的效率往往受限于可變形卷積核的大小。可變形卷積核的大小嚴重影響算法所占用的計算資源，一旦變化范圍超過可變形卷積核的大小，基于核的方法的效率會明顯下降。基于運動估計的技術是采用估計兩個RGB幀之間的光流，采用正向映射或者反向映射的方式獲取中間幀，基于運動估計的方法受限于運動估計的準確度。光流法受限于亮度不變假設和線性運動假設，然而水下中大多數運動都是非線性運動。基于光流的方法受限于光流法本身的限制，無法非常準確地還原出非線性運動兩幀間的中間幀。事件相機具有極低的延遲，可以實時地輸出異步的事件流，即任意時刻某一個位置的像素點亮度變化。這種圖像中的亮度變化一旦超過事件相機的閾值，事件相機將輸出一個帶有極性（正，負），時間、位置（x，y）的事件。這種事件信息蘊含了物體實際的運動信息，通過結合事件信息和RGB圖像信息，利用卷積神經網絡進行深度學習，可以模擬還原出物體真實的中間運動狀態，即接近真實的中間幀。

發明內容

本發明提供一種基于RGB數據和事件數據協同的水下高速視頻插幀方法，實現利用RGB數據和事件數據生成視頻的中間幀，提高視頻的幀率，優化在水下場景下非線性運動下插幀效果的魯棒性。

本發明提供一種基于RGB數據和事件數據協同的水下高速視頻插幀系統，實現利用RGB數據和事件數據生成視頻的中間幀，提高視頻的幀率，優化在水下場景下非線性運動下插幀效果的魯棒性。

本發明通過以下技術方案實現：

一種基于RGB數據和事件數據協同的水下高速視頻插幀方法，所述水下高速視頻插幀方法包括以下步驟：

步驟1，通過傳統相機和事件相機分別獲取視覺對象在所處空間內的RGB數據和事件數據；

步驟2，將步驟1獲取的RGB數據和事件數據利用U型合成網絡融合，獲取合成結果；

步驟3，利用步驟2的合成結果和步驟1獲取的RGB數據經過三層多尺度光流估計網絡進行幀光流估計；

步驟4，利用步驟1獲取的RGB數據和事件數據經過三層多尺度光流估計網絡進行事件光流估計；

步驟5，將步驟2的融合結果、步驟3的經過三層多尺度光流估計網絡進行的幀光流估計結果與步驟4的經過三層多尺度光流估計網絡進行的事件光流估計通過U型融合網絡進行融合，輸出中間幀。