[發明專利]一種維持視差的雙目視頻穩像方法

在審

• 申請號: 201711146963.2
• 申請日: 2017-11-17
• 公開（公告）號: CN107864374A
• 公開（公告）日: 2018-03-30
• 發明（設計）人: 劉帥成;郭亨;何志偉;曾兵
• 申請（專利權）人: 電子科技大學
• 主分類號: H04N13/239
• 分類號: H04N13/239;H04N13/271;H04N5/232
• 代理公司: 成都君合集專利代理事務所(普通合伙)51228
• 代理人: 張鳴潔

1.一種維持視差的雙目視頻穩像方法，其特征在于：將雙目視頻分解為左視角視頻和右視角視頻；對左視角視頻進行防抖處理并輸出相應的左視角平穩變換矩陣，對右視角視頻進行防抖處理并輸出相應的右視角平穩變換矩陣；左視角視頻根據左視角平穩變換矩陣渲染輸出左視角輸出視頻，右視角視頻根據右視角平穩變換矩陣渲染輸出右視角輸出視頻；將左視角輸出視頻和右視角輸出視頻合成穩定的雙目視頻輸出。

2.根據權利要求1所述的一種維持視差的雙目視頻穩像方法，其特征在于：主要包括以下幾個步驟：

步驟S1：初始化相關參數；

步驟S2：將雙目視頻拆分為左視角視頻和右視角視頻，利用光流法和/或SIFT算法計算左視角視頻與右視角視頻的匹配特征點對；利用SIFT算法分別計算左視頻前后相鄰幀之間的左視匹配SIFT特征點和右視頻前后相鄰幀之間的右視匹配SIFT特征點；

步驟S3：利用視差計算模塊逐幀計算左視角視頻與右視角視頻之間的原始視差；

步驟S4：利用多路徑視頻穩像模塊分別將左視角視頻和右視角視頻的每一幀劃分為N*N的網格并對左視角視頻和右視角視頻進行防抖處理，同時輸出左視角平穩變換矩陣和右視角平穩變換矩陣，利用左視角平穩變換矩陣計算出左視角視頻網格的對應位置；

步驟S5：利用視差變換模塊對左視角平穩變換矩陣與原始視差進行處理得到視頻穩像后的視差；

步驟S6：利用JDSW模塊根據右視角平穩變換矩陣與視差計算出右視角視頻網格的對應位置；

步驟S7：利用網格映射模塊根據左視角視頻網格的對應位置與右視角視頻網格的對應位置分別渲染輸出左視角的平穩視頻和右視角的平穩視頻；

步驟S8：將左視角的平穩視頻和右視角的平穩視頻合成雙目視頻輸出。

3.根據權利要求2所述的一種維持視差的雙目視頻穩像方法，其特征在于：所述的步驟S3中，視差計算模塊根據匹配特征點對計算t時刻下左視角視頻與右視角視頻在每一個匹配特征點對處的視差。

4.根據權利要求3所述的一種維持視差的雙目視頻穩像方法，其特征在于：所述的匹配特征點對包括稠密點對和稀疏點對；所述的稠密點包括利用光流法對左視角視頻計算得出的左視稠密點和利用光流法對右視角視頻計算得出的右視稠密點；所述的稀疏點對包括利用SIFT算法對左視角視頻計算得出的左視稀疏點和利用SIFT算法對右視角視頻計算得出的右視稀疏點。

5.根據權利要求2所述的一種維持視差的雙目視頻穩像方法，其特征在于：所述的步驟S4中，利用多路徑視頻穩像模塊將左視角視頻的每一幀劃分為N*N的網格，根據Content-Preserving Warping變換方法利用左視匹配SIFT特征點引導網格變換并估算每一個網格的相機路徑，利用網格的相機路徑計算相應的平滑相機路徑，使用平滑相機路徑計算得出該網格的左視角平穩變換矩陣；對于右視角視頻采用相同的方法計算出右視角平穩變換矩陣。

6.根據權利要求2或5所述的一種維持視差的雙目視頻穩像方法，其特征在于：所述的步驟S5中，利用視差變換模塊計算出原始視差在左視角平穩變換矩陣的約束下進行變換后的視差。

7.根據權利要求2、3、4、5中任一項所述的一種維持視差的雙目視頻穩像方法，其特征在于：所述的步驟S2中，利用RANSAC算法剔除匹配特征點對中匹配錯誤的點對。