[發明專利]一種維持視差的雙目視頻穩像方法

在審

• 申請號: 201711146963.2
• 申請日: 2017-11-17
• 公開（公告）號: CN107864374A
• 公開（公告）日: 2018-03-30
• 發明（設計）人: 劉帥成;郭亨;何志偉;曾兵
• 申請（專利權）人: 電子科技大學
• 主分類號: H04N13/239
• 分類號: H04N13/239;H04N13/271;H04N5/232
• 代理公司: 成都君合集專利代理事務所(普通合伙)51228
• 代理人: 張鳴潔

技術領域

本發明涉及計算機視覺和計算機圖形學領域，具體的說，是一種維持視差的雙目視頻穩像方法。

背景技術

用戶通過手持設備拍攝的視頻往往存在大量的抖動，影響視覺效果。數字視頻穩像技術是一種通過低頻濾波器對相機運動進行平滑濾波，去除抖動的相機運動(Camera motion)，并渲染輸出平穩視頻的技術。相比專業拍攝設備使用移動導軌拍攝穩定視頻的方式，采用視頻穩像算法提升用戶拍攝視頻的平穩質量更加經濟和簡便。此外，視頻穩像技術將有助于提高計算機視覺中許多算法的準確性，例如視頻的分割、識別、檢測等。

隨著3D電影在影視界的成功應用，雙目相機和立體顯示設備變得越來越流行。近些年來，雙目圖像和視頻的處理方法和技術逐漸成為學術界和產業界的熱門課題。例如，雙目圖像的扭曲變換(Stereoscopic warping)、克隆(Cloning)、以及全景拼接(Panorama)等應用。然而，針對雙目視頻的穩像問題至今尚未出現非常有效的方法。原因在于如果將傳統的單目視頻穩像算法直接應用在雙目視頻的兩個視角時，雙目視頻原始的視差(Disparity)信息會發生畸變，從而導致輸出結果出現錯誤的感知深度。

發明內容

本發明的目的在于提供一種維持視差的雙目視頻穩像方法，用于對雙目視頻進行去抖動處理，在提升雙目視頻的平穩質量的同時保持雙目視頻原始的視差信息，最終獲得穩定并具備正確感知深度的雙目視頻。

本發明通過下述技術方案實現：一種維持視差的雙目視頻穩像方法，將雙目視頻分解為左視角視頻和右視角視頻；對左視角視頻進行防抖處理并輸出相應的左視角平穩變換矩陣，對右視角視頻進行防抖處理并輸出相應的右視角平穩變換矩陣；左視角視頻根據左視角平穩變換矩陣渲染輸出左視角輸出視頻，右視角視頻根據右視角平穩變換矩陣渲染輸出右視角輸出視頻；將左視角輸出視頻和右視角輸出視頻合成穩定的雙目視頻輸出。

主要包括以下幾個步驟：

步驟S1：初始化相關參數；

步驟S2：將雙目視頻拆分為左視角視頻和右視角視頻，利用光流法和/或SIFT算法計算左視角視頻與右視角視頻的匹配特征點對；利用SIFT算法分別計算左視頻前后相鄰幀之間的左視匹配SIFT特征點和右視頻前后相鄰幀之間的右視匹配SIFT特征點，其中同一時刻t下的左視角視頻圖幀記為右視角視頻圖幀記為

步驟S3：利用視差計算模塊逐幀計算左視角視頻與右視角視頻之間的原始視差，其中原始視差記為Dt；

步驟S4：利用多路徑視頻穩像模塊分別將左視角視頻和右視角視頻的每一幀劃分為N*N的網格并對左視角視頻和右視角視頻進行防抖處理，同時輸出左視角平穩變換矩陣和右視角平穩變換矩陣，利用左視角平穩變換矩陣計算出左視角視頻網格的對應位置，其中左視角平穩變換矩陣記為右視角平穩變換矩陣記為

步驟S5：利用視差變換模塊對左視角平穩變換矩陣與原始視差進行處理得到視頻穩像后的視差，其中視差記為D_t′；

步驟S6：利用JDSW模塊根據右視角平穩變換矩陣與視差計算出右視角視頻網格的對應位置；

步驟S7：利用網格映射模塊根據左視角視頻網格的對應位置與右視角視頻網格的對應位置分別渲染輸出左視角的平穩視頻和右視角的平穩視頻；

步驟S8：將左視角的平穩視頻和右視角的平穩視頻合成雙目視頻輸出。

所述的步驟S3中，視差計算模塊根據匹配特征點對計算t時刻下左視角視頻與右視角視頻在每一個匹配特征點對(i，j)處的視差。

所述的匹配特征點對包括稠密點對和稀疏點對；所述的稠密點包括利用光流法對左視角視頻計算得出的左視稠密點和利用光流法對右視角視頻計算得出的右視稠密點；所述的稀疏點對包括利用SIFT算法對左視角視頻計算得出的左視稀疏點和利用SIFT算法對右視角視頻計算得出的右視稀疏點。其中左視稠密點和左視稀疏點記為P_l^i,j，右視稠密點和右視稀疏點記為P_r^i,j。

所述的步驟S4中，利用多路徑視頻穩像模塊將左視角視頻的每一幀劃分為N*N的網格，根據Content-Preserving Warping變換方法利用左視匹配SIFT特征點引導網格變換并估算每一個網格的相機路徑，利用網格的相機路徑計算相應的平滑相機路徑，使用平滑相機路徑計算得出該網格的左視角平穩變換矩陣；對于右視角視頻采用相同的方法計算出右視角平穩變換矩陣。其中相機路徑記為C(t)，平滑相機路徑記為P(t)。