[發明專利]一種基于圖像配準的視頻光路重建方法及其裝置

有效

• 申請號: 202210278970.2
• 申請日: 2022-03-21
• 公開（公告）號: CN114845137B
• 公開（公告）日: 2023-03-10
• 發明（設計）人: 閆鋒;蔣駿杰;楊婷;王凱;吳永杰;劉泉;宋年華
• 申請（專利權）人: 南京大學
• 主分類號: H04N21/2343
• 分類號: H04N21/2343;H04N21/4402;G06T7/38
• 代理公司: 江蘇法德東恒律師事務所 32305
• 代理人: 李媛媛

1.一種基于圖像配準的視頻光路重建方法，其特征在于，包括如下步驟：

S1，對視頻進行圖像配準，獲得一組表征不同時刻視頻前后幀之間的偏移向量序列；

S2，根據所述偏移向量序列，對視頻前后相鄰幀進行插幀處理，獲得高幀率視頻；

S3，利用所述高幀率視頻，重構出每個像素的光子到達時刻序列，得到最終的視頻光路模型；

所述步驟S2中，由于視頻中前后相鄰幀之間存在交疊部分，為了在其中插入中間幀，將中間幀分為5部分，分別為前后幀重疊部分、前中幀”L”型重疊部分、中后幀”L”型重疊部分以及兩個信息缺失區；根據步驟S1得到的前后幀之間的偏移向量序列，計算出上述5部分的具體尺寸，其中前后幀重疊部分的灰值只需要取前后幀中對應部分的灰值均值即可，前中幀”L”型重疊部分的灰值只需要取前幀對應部分的灰值即可，中后幀”L”型重疊部分的灰值只需要取后一幀對應部分的灰值即可。

2.根據權利要求1所述的一種基于圖像配準的視頻光路重建方法，其特征在于，所述步驟S1中，對視頻進行逐幀拆解，將前后兩幀的圖像進行二維傅里葉變換得到頻域信息，并計算歸一化功率譜得到前后兩幀圖像的頻域相位信息，再將頻域相位信息通過二維傅里葉反變化，得到空間域的沖激函數，比較所述沖激函數與原點位置便得出前后兩幀圖像的精確偏移向量，最后對所有相鄰幀圖像采用頻域相位相關法算出對應的偏移向量，獲得視頻所有相鄰幀對應的偏移向量序列。

3.根據權利要求1所述的一種基于圖像配準的視頻光路重建方法，其特征在于，將每個信息缺失區沿斜對角線分為兩部分，每個位于對角線處點的灰值采用垂直于該點前一幀邊緣的灰值與垂直于該點處后一幀邊緣灰值相加取平均得到；下三角沿豎直方向分為各列，每一列的灰值從下至上勻增加，上三角沿水平方向分為各行，每一行的灰值從左至右勻增加，由此獲得信息缺失區的灰值。

4.根據權利要求1所述的一種基于圖像配準的視頻光路重建方法，其特征在于，所述步驟S3中，已知傳感器每個像素單位時間接受的光子數符合參數為λ的泊松分布，光子到達的時間符合非齊次泊松分布，首先設光子流量函數為λ(t),該函數表征單位時間內到達傳感器的光子數目，通過圖像的灰值映射得到，此時得到的光子流量函數為離散點組成的函數，再采用分段線性的方法將離散的光子流量函數轉化為連續函數，由此重構出高精度的連續光子流量函數；接著通過所述連續光子流量函數，采用反函數從概率分布函數推導出相鄰光子之間的時間間隔δ，由于光子流量函數λ(t)與時間相關，δ的累計分布函數CDF與具體的時刻t有關，在t時刻到達一個光子的情況下，下一個光子到來的時間間隔的累計分布函數CDF能夠通過光子到達時間符合非齊次泊松分布的特性求出；再通過反函數的方法，已知光子到來的時間間隔的累計分布函數CDF，求出光子到來的具體時刻，設第一個光子到來的時刻為0，以此推算出之后每個光子的到達時刻；最終得到每個像素的光子到達時刻序列，即為最終的視頻光路模型。

5.一種基于圖像配準的視頻光路重建裝置，其特征在于，該裝置包括圖像配準模塊、視頻插幀模塊以及光路重建模塊；

所述圖像配準模塊，用于獲得一組表征不同時刻視頻前后幀之間的偏移向量序列；

所述視頻插幀模塊，用于根據所述圖像配準模塊輸出的偏移向量序列，對視頻前后相鄰幀進行插幀處理，獲得高幀率視頻；由于視頻中前后相鄰幀之間存在交疊部分，為了在其中插入中間幀，將中間幀分為5部分，分別為前后幀重疊部分、前中幀”L”型重疊部分、中后幀”L”型重疊部分以及兩個信息缺失區；根據所述圖像配準模塊得到的前后幀之間的偏移向量序列，計算出上述5部分的具體尺寸，其中前后幀重疊部分的灰值只需要取前后幀中對應部分的灰值均值即可，前中幀”L”型重疊部分的灰值只需要取前幀對應部分的灰值即可，中后幀”L”型重疊部分的灰值只需要取后一幀對應部分的灰值即可；

所述光路重建模塊，用于根據所述視頻插幀模塊輸出的高幀率視頻，重構出每個像素的光子到達時刻序列，得到最終的視頻光路模型。