[發(fā)明專利]用于平面視頻立體轉(zhuǎn)換的字幕去抖方法及字幕去抖裝置

有效

• 申請?zhí)枺?/td>: 201110169307.0
• 申請日: 2011-06-22
• 公開（公告）號: CN102202224A
• 公開（公告）日: 2011-09-28
• 發(fā)明（設(shè)計）人: 戴瓊海;徐琨
• 申請（專利權(quán)）人: 清華大學
• 主分類號: H04N13/00
• 分類號: H04N13/00;H04N5/278
• 代理公司: 北京清亦華知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 張大威

技術(shù)領(lǐng)域

本發(fā)明涉及計算機視覺技術(shù)領(lǐng)域，特別涉及一種用于平面立體視頻的字幕去抖方法及字幕去抖裝置。

背景技術(shù)

立體視頻技術(shù)是一種能夠提供立體感的新型視頻技術(shù)，已經(jīng)作為未來多媒體技術(shù)的發(fā)展方向。隨著3D立體顯示技術(shù)的不斷發(fā)展，立體電影、電視、移動設(shè)備等立體產(chǎn)品迅速普及，用戶對立體視頻的需求程度越來越高。此時，除了提供新的立體拍攝片源以外，還有大量平面視頻資料需要通過立體化的方法才能實現(xiàn)立體觀賞。

對于廣大的普通用戶而言，通過電視觀看立體影視是最直接且便捷的手段。但是，電視節(jié)目擁有快捷性和復雜性的特點。具體而言，快捷性要求平面視頻立體化的方法快速有效，復雜性要求對電視節(jié)目中的大量字幕等特效能夠有比較好的立體效果。傳統(tǒng)支持自動立體化轉(zhuǎn)換的電視可以完成將屏幕視頻資料轉(zhuǎn)換為立體視頻。在視頻中，除了用戶觀看的主體內(nèi)容(如畫面、聲音等)，字幕也是用戶觀看的一個重要內(nèi)容。但是視頻畫面之間深度的不連續(xù)性會引起字幕的抖動，畫面內(nèi)部字幕附近區(qū)域深度不一致會造成字幕的扭曲。字幕作為視頻中的非自然物體，一旦出現(xiàn)抖動和扭曲，很容易引起用戶觀賞的不適。傳統(tǒng)的支持立體化轉(zhuǎn)換的電視還不能解決視頻中字幕的抖動和扭曲的問題。

發(fā)明內(nèi)容

本發(fā)明的目的旨在至少解決上述技術(shù)缺陷之一。

為此，本發(fā)明的第一個目的在于提出一種用于平面視頻立體轉(zhuǎn)換的字幕去抖方法，該方法可以有效減少甚至去除立體化視頻中字幕抖動和扭曲的現(xiàn)象。

本發(fā)明的第二個目的在于提出一種用于平面視頻立體轉(zhuǎn)換的字幕去抖裝置。

為實現(xiàn)上述目的，本發(fā)明第一方面的實施例提出了一種用于平面視頻立體轉(zhuǎn)換的字幕去抖方法，包括如下步驟：

輸入預定數(shù)量的原視頻序列和所述原視頻序列的深度圖序列，其中，所述原視頻序列和所述深度圖序列的分辨率相同；

計算所述原視頻序列中每幀圖像的特征值，并根據(jù)所述每幀圖像的特征值計算相鄰兩幀圖像的特征值的差值，將所述相鄰兩幀圖像的特征值的差值與特征閾值進行比較，將特征值的差值小于所述特征閾值的像素點進行標記以得到初始遮罩圖，其中，所述特征閾值與所述特征值對應(yīng)于所述每幀圖像的同一個特征；

對所述初始遮罩圖進行圖像去噪以去除所述初始遮罩圖中的噪聲點和孤立像素點，生成去噪后遮罩圖，所述去噪后遮罩圖包括原視頻序列的靜態(tài)區(qū)域和字幕區(qū)域；

生成有效圖像區(qū)域，其中所述有效圖像區(qū)域包括所述去噪后遮罩圖中的特征值的差值小于所述特征閾值的像素在所述原視頻序列中對應(yīng)的像素點，計算所述有效圖像區(qū)域的直方圖，并將所述有效圖像區(qū)域的直方圖與預設(shè)直方圖進行匹配以得到字幕區(qū)域，對所述字幕區(qū)域在所述原視頻序列中對應(yīng)的像素點進行標記以生成更新后的去噪后遮罩圖；

對所述更新后的去噪后遮罩圖進行拓展以得到最終遮罩圖，所述最終遮罩圖包括所述字幕區(qū)域及所述字幕區(qū)域的邊緣；

對所述當前幀的最終遮罩圖進行深度賦值，包括將所述當前幀的最終遮罩圖中的像素點在所述當前幀的前面多個幀的深度圖序列中對應(yīng)的像素點的深度值賦值到所述當前幀的最終遮罩圖中的像素點以得到所述字幕區(qū)域的深度圖；和

對所述字幕區(qū)域的深度圖進行幀內(nèi)的圖像平滑處理和幀間的時域平滑處理。

根據(jù)本發(fā)明實施例的用于平面視頻立體轉(zhuǎn)換的字幕去抖方法，可以有效地改善深度圖中字幕的深度信息，減小甚至消除字幕的抖動和扭曲現(xiàn)象，解決立體化視頻播放中字幕抖動給用戶造成的不適。