[發明專利]立體圖像處理方法、裝置以及立體視頻顯示設備

有效

• 申請號: 201410814752.1
• 申請日: 2014-12-24
• 公開（公告）號: CN105791795B
• 公開（公告）日: 2018-01-26
• 發明（設計）人: 李煒明;劉志花;趙良鎬;王西穎;周明才;薛康;洪濤;馬賡宇;王海濤
• 申請（專利權）人: 北京三星通信技術研究有限公司;三星電子株式會社
• 主分類號: H04N13/122
• 分類號: H04N13/122;H04N13/183;H04N13/30
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司11204
• 代理人: 王達佐,馬曉亞

技術領域

本申請涉及計算機處理領域，具體涉及立體顯示技術，尤其涉及立體圖像處理的方法、裝置以及立體視頻顯示設備。

背景技術

立體顯示技術包括顯示內容生成技術和顯示設備技術。為了高質量地顯示立體圖像內容，立體顯示設備可以集成對立體圖像內容進行處理的技術，通過軟件的方式提升三維圖像的視覺顯示效果。當立體顯示設備顯示的立體圖像內容中包含豎直方向的視差時，三維圖像的視覺質量會產生下降。

一種有用的立體圖像處理功能是立體圖像校正。立體圖像校正的目的是消除立體圖像對之間在豎直方向上的視差。這些視差往往是在立體圖像拍攝時，所采用的立體攝像機的兩臺相機之間的參數調整誤差造成的。這些參數誤差可能包括兩臺相機之間位置上的錯位，成像參數的不一致等等。立體圖像校正過程通過估計這些誤差，得到對立體圖像進行變換的參數，使得變換后的立體圖像對在豎直方向上的視差消除，只保留在水平方向上的視差。即，相同物體在立體校正之后的立體圖像對的左右兩圖之間的圖像點，位于相同的圖像行坐標，其位置差異僅僅出現在列坐標上。

已經提出了一些用于立體圖像校正的方法。例如，已知一種校正方法可以在立體視覺系統中校正三維物體的二維圖像。該方法根據特殊的透視投影變換或仿射投影變換計算二維透視投影變換或單應變換。這是一種對圖像的全局變換。又例如，已知另一種校正方法使用帶有局部變形的網格變換來代替全局變換，可以適應更加復雜的立體誤差情況。其基本假設是兩幅圖像之間的變換是局部平滑的。

這些已知的立體圖像校正方法對立體圖像內容誤差的處理技術集中在對相機拍攝的真實三維世界的二維影像的處理。三維世界中的物體被不同視點的左右兩臺相機拍攝，得到的立體圖像對滿足對極線(Epipolar Line)幾何約束。因此，按照多視角幾何理論，只要通過對兩幅圖像分別進行全局的二維透視投影變換(或者單應變換)，就可以將兩幅圖像的對極線對齊。如果考慮到鏡頭成像誤差引起的非線性畸變，由于光學鏡頭引起的畸變是局部平滑的，可以使用類似上述第二種校正方法提出的局部平滑變換來進行進一步的校正。

發明內容

在實際應用中，一些立體圖像內容可能在后期編輯時被加入一些物體，例如字幕、視頻圖標等。這些后期疊加物體的立體幾何關系和立體圖像內容的立體幾何關系不同，傳統的立體校正算法會在這些物體區域產生誤差。

為了解決上述一個或多個問題，本申請提供一種立體圖像處理方法、裝置以及立體視頻顯示設備。

第一方面，本申請提供了一種立體圖像處理方法。該方法包括：判斷圖像幀中的立體圖像內容是否存在立體誤差，其中圖像幀包括至少兩個不同視角的圖像；響應于存在立體誤差，檢測圖像幀中是否存在與立體圖像內容具有不同立體幾何約束的對象；以及若檢測到對象，則針對立體圖像內容和該對象分別進行處理。

在一些實施例中，針對立體圖像內容和對象分別進行處理，包括：將對象從圖像幀中分割出去；填補圖像幀中由于分割產生的圖像空洞；以及對填補后的圖像幀執行立體校正。

在一些實施例中，對象為圖像幀中的后期插入對象，并且將對象從圖像幀中分割出去基于對象的至少一個如下屬性：可預期的形體特征、時域上的穩定性、以及符合標準的立體幾何關系。

在一些實現中，對象為后期插入的字幕。在這些實現中，將對象從圖像幀中分割出去，包括：從圖像幀的不同視角的圖像中分別檢測文字筆畫特征；提取包含文字筆畫特征的字幕框；在字幕框中，根據文字顏色分割出文字像素；以及將文字像素從圖像幀中分割出去。

在一些實現中，在根據文字顏色分割出文字像素之前，還包括：通過匹配不同視角的圖像的字幕框確定字幕深度；以及根據字幕深度去除誤檢測的字幕框。

在另一些實現中，對象為后期插入的視頻圖標。在這些實現中，將對象從圖像幀中分割出去，包括：利用預先建立的視頻圖標的模板圖像對圖像幀的不同視角的圖像分別進行匹配；以及將所匹配的區域作為視頻圖標從圖像幀中分割出去。

在一些實現中，視頻圖標的模板圖像通過如下離線處理方式來建立：初始化圖標圖像；按照時間順序讀取輸入視頻的每一幀圖像并根據相鄰兩幀之間的像素顏色差異更新圖標圖像；以及將收斂得到的圖標圖像作為視頻圖標的模板圖像。

在又一些實現中，對象為后期插入的圖形對象。在這些實現中，將對象從圖像幀中分割出去，包括：將圖像幀的不同視角的圖像中的任一圖像分割為多個圖像區域；針對每個圖像區域，在圖像幀的不同視角的圖像中的另一圖像中相同水平線上的每個位置進行匹配；以及根據匹配結果確定圖形對象并將其分割出去。