[發明專利]結合人眼跟蹤的立體視頻處理系統及方法

無效

• 申請號: 201310746083.4
• 申請日: 2013-12-30
• 公開（公告）號: CN103747236A
• 公開（公告）日: 2014-04-23
• 發明（設計）人: 楊青;李建軍
• 申請（專利權）人: 中航華東光電有限公司
• 主分類號: H04N13/04
• 分類號: H04N13/04;H04N13/00
• 代理公司: 蕪湖安匯知識產權代理有限公司 34107
• 代理人: 朱圣榮

技術領域

本發明屬于顯示技術領域，具體涉及一種結合人眼跟蹤的立體視頻處理系統。

背景技術

現有的多視點合成軟件主要是基于多視點圖片進行合成的，立體視頻播放器較少。現有的一種常見的立體播放器可以對立體視頻做處理，但是僅限于特定某視點的片源，例如WES?TECHNOLOGIES公司的WES3DPlayer，可實現較好的立體視覺，但僅支持8視點的特殊格式的視頻。

而且常見的立體播放器只是對片源進行播放，觀看者需要在屏幕前移動位置以找到合適的視角。在尋找視角的過程中，由于視區的變換，觀看者能看到明顯的串擾。

另外一種常見的播放器通過兩視點轉多視點的方式擴大視角，將輸入的兩視點片源通過深度圖重構生成虛擬多視點圖像。觀看者在屏幕前可以看到更大角度的立體視區。這種視頻處理方式算法復雜，對計算準確性要求較高。

發明內容

為了克服現有技術的不足，本發明提供一種結合人眼跟蹤的立體視頻處理系統及方法，基于自由立體顯示圖像融合算法與人眼跟蹤算法的立體視頻處理系統，根據人眼位置的不同，將立體視頻投放到對應視區，消除圖像串擾。

本發明的技術方案是：一種結合人眼跟蹤的立體視頻處理系統，包括圖像處理單元、人眼跟蹤識別單元、對應視區圖像處理單元、視頻輸出模塊和攝像頭；

攝像頭：作為捕捉用戶影像的硬件，并將圖像傳給人眼跟蹤識別單元；

人眼跟蹤識別單元：根據圖像處理技術識別人眼區域，計算人眼的3D坐標，并將參數傳送給對應視區圖像處理單元；

圖像處理單元：將視頻文件提取單幀，劃分成N張小圖，采用立體圖像融合算法，得到立體圖像，并將立體圖像傳送給對應視區圖像處理單元；

對應視區圖像處理單元：將人眼跟蹤識別單元和圖像處理單元傳送過來的人眼3D坐標參數和立體圖像進行對比，判斷是否為3D坐標對應視區的立體圖像；

視頻輸出模塊：將對應視區圖像處理單元傳送過來的正確的立體圖像進行播放。

一種結合人眼跟蹤的立體視頻處理方法，包括如下步驟：

步驟一：開啟攝像頭，捕捉用戶的影像，通過圖像處理技術識別人眼區域，給定人眼一個3D坐標；

步驟二：將視頻文件提取單幀，劃分成N張小圖，采用立體圖像融合算法，得到新的立體圖像；

步驟三：根據3D坐標來判斷新的立體圖像是否是對應視區的圖像融合方式，如果是則執行步驟四，否則，將3D坐標和新的立體圖像打包返回到步驟二；

步驟四：輸出融合后的立體圖像。

所述步驟一中：人眼3D坐標是由攝像機捕捉到的二維圖像坐標和攝像機標定參數給定。

所述步驟二中：調用OpenCV的圖像與視頻處理函數提取原視頻的分辨率與幀率；步驟四中：將新的立體圖像使用OpenCV將其按原始視頻分辨率大小進行顯示，并按原有的幀率數值控制載入幀圖像的間隔時間，將其調整為原始視頻文件的幀率。

所述步驟二中：圖像融合的原理為：選定一個子像素(k,l)，根據多視點子像素映射的通用計算公式得到該子像素所對應的RGB分量：

其中：N_tot表示視點數目，(k,l)表示像素點在坐標系中的位置，α表示光柵傾角，X表示片源個數，N表示像素對應某幅視點圖像的序號；融合的原理是，將序號為N的視點圖像中對應的子像素(k,l)坐標的RGB分量帶入到合成圖的子像素(k,l)的坐標處。通過循環帶入，將得到各視點圖像的子像素映射表后合成的圖像。

本發明有如下積極效果：1.本發明可以將多視點拍攝的視頻在自由立體顯示器上播放。使用戶不戴3D眼鏡也能觀看到3D立體視頻。該軟件播放立體視頻能看到明顯立體效果。2.由于加入了人眼跟蹤技術，使用戶不用主動尋找合適的3D視區，軟件會自動根據用戶人眼位置投放對應視區的立體畫面。用戶在屏幕前移動時，圖像會隨著用戶眼部位置實時調整，用戶不會察覺到觀看內容的變化，始終看到的是最初看到的對應視點的內容，借此減輕了圖像串擾。3.該裝置算法處理速度快，能實時的對多視點圖像進行融合，同時根據人眼的移動同步調整對應視區的圖像，計算過程幾乎無延時，播放流暢，可以與原視頻的播放速度一致。

附圖說明

圖1為立體視頻播放器結構圖；

圖2為立體視頻處理流程圖。

具體實施方式