[發明專利]一種基于數據協同的水下高速視頻插幀方法及其系統

有效

• 申請號: 202310076493.6
• 申請日: 2023-02-08
• 公開（公告）號: CN115883764B
• 公開（公告）日: 2023-05-23
• 發明（設計）人: 姜宇;齊紅;趙明浩;王躍航;張永霽;魏楓林;王凱
• 申請（專利權）人: 吉林大學
• 主分類號: H04N7/01
• 分類號: H04N7/01;H04N5/265;G06N3/0464
• 代理公司: 哈爾濱市陽光惠遠知識產權代理有限公司 23211
• 代理人: 姜明君

1.一種基于RGB數據和事件數據協同的水下高速視頻插幀方法，其特征在于，所述水下高速視頻插幀方法包括以下步驟：

步驟1，通過傳統相機和事件相機分別獲取RGB數據和事件數據；

步驟2，將步驟1獲取的RGB數據和事件數據利用U型合成網絡融合，獲取合成結果；

步驟3，利用步驟2的合成結果和步驟1獲取的RGB數據經過三層多尺度光流估計網絡進行幀光流估計；

步驟4，利用步驟1獲取的RGB數據和事件數據經過三層多尺度光流估計網絡進行事件光流估計；

步驟5，將步驟2的融合結果、步驟3的經過三層多尺度光流估計網絡進行的幀光流估計結果與步驟4的經過三層多尺度光流估計網絡進行的事件光流估計通過U型融合網絡進行融合，輸出中間幀。

2.根據權利要求1所述一種基于RGB數據和事件數據協同的水下高速視頻插幀方法，其特征在于，所述步驟1還包括將異步的事件數據轉化為同步表示形式，具體為將時間長度為兩個邊界幀間隔的事件，選取5個箱子，以雙線性插值的方式將附近時間戳內的事件壓縮至對應的箱子上，獲取5個通道的同步事件幀。

3.根據權利要求2所述一種基于RGB數據和事件數據協同的水下高速視頻插幀方法，其特征在于，所述步驟2的U型合成網絡具體為，根據所述U型合成網絡中的殘差連接卷積神經網絡模型，輸入的RGB圖像和對應的事件數據經過解碼編碼結構進行合成，記作合成結果。

4.根據權利要求3所述一種基于RGB數據和事件數據協同的水下高速視頻插幀方法，其特征在于，所述步驟2獲取合成結果具體為，兩個3通道的RGB圖像幀和兩個5通道的事件幀經過12組卷積，包含4次下采樣和4次上采樣的編碼解碼結構對兩個模態的信息進行融合和學習，輸出3通道的RGB圖像作為預測值，使用L1損失和感知損失函數作為損失函數，并使用真實的中間幀數據作為真實值做有監督學習。

5.根據權利要求1所述一種基于RGB數據和事件數據協同的水下高速視頻插幀方法，其特征在于，所述步驟3和步驟4的三層多尺度光流估計網絡具體為，采用三層多尺度殘差連接卷積神經網絡模型，融合多尺度特征信息，輸出特征向量，經光流映射得到幀合成結果；

采用三層多尺度殘差連接卷積神經網絡模型，融合多模態多尺度特征信息，輸出特征向量，經光流映射得到事件合成結果。

6.根據權利要求5所述一種基于RGB數據和事件數據協同的水下高速視頻插幀方法，其特征在于，所述步驟3幀光流估計具體為，將兩個3通道的RGB圖像幀和所得3通道的RGB合成幀拼接在一起得到初始的輸入數據F，F通過第一個光流估計模塊得到兩個2通道的光流F₁，F₁與經過雙線性縮放的F拼接在一起通過第二個光流估計模塊，所得特征與F₁相加得到F₂，F₂與經過雙線性縮放的F拼接在一起通過第三個光流估計模塊，所得特征與F₂相加得到F₃；所輸入特征F共需要經歷進行3個光流估計模塊，最終得到兩個2通道的光流，分別代表中間幀到左右兩個邊界幀運動向量；

由兩個邊界幀和兩個運動向量經過反向映射可以得到兩個3通道的RGB基于幀估計的結果；使用L1損失函數作為損失函數，并使用真實的中間幀數據作為真實值做有監督學習；

所述光流估計模塊包含10層卷積網絡和一層轉置卷積網絡和Relu激活函數。