[發(fā)明專利]一種多視點(diǎn)立體視頻字幕處理方法

無效

• 申請(qǐng)?zhí)枺?/td>: 201110430432.2
• 申請(qǐng)日: 2011-12-20
• 公開（公告）號(hào): CN102447863A
• 公開（公告）日: 2012-05-09
• 發(fā)明（設(shè)計(jì)）人: 曾超;程遠(yuǎn)兵
• 申請(qǐng)（專利權(quán)）人: 四川長虹電器股份有限公司
• 主分類號(hào): H04N5/445
• 分類號(hào): H04N5/445;H04N5/278;H04N13/00
• 代理公司: 成都虹橋?qū)＠聞?wù)所 51124
• 代理人: 李順德

技術(shù)領(lǐng)域

本發(fā)明涉及立體顯示技術(shù)，具體的說是涉及一種多視點(diǎn)立體視頻字幕處理方法。

背景技術(shù)

與二維視頻顯示相比，立體視頻顯示與人的視覺特征更加匹配，使得人們?cè)谟^看圖像時(shí)富有立體感和沉浸感。目前，立體電視主要分為眼鏡式和裸眼式兩種，其中眼鏡式立體顯示主要以主動(dòng)快門式和被動(dòng)偏光式為主，裸眼式主要分為視差屏障式、柱狀透鏡式等。眼鏡式立體技術(shù)主要集中在消費(fèi)級(jí)市場，如立體電視、立體投影等，裸眼式立體技術(shù)由于技術(shù)及成本因素，目前主要于機(jī)場、展覽等商用顯示及小尺寸消費(fèi)電子產(chǎn)品。裸眼式立體顯示技術(shù)因?yàn)椴恍枰~外的設(shè)備即可讓觀眾欣賞到立體效果，因而受到了消費(fèi)者的普遍期待和各國廠家的重視，正成為下一代立體顯示的發(fā)展方向。

對(duì)于大尺寸的裸眼立體電視通常為多視點(diǎn)自由立體顯示方式，這就要求視頻信號(hào)源為多視點(diǎn)視頻。多視點(diǎn)視頻是指由位置不同的多個(gè)攝像機(jī)在相同時(shí)刻對(duì)相同場景進(jìn)行拍攝時(shí)產(chǎn)生的多個(gè)視圖的序列，一個(gè)視圖對(duì)應(yīng)一個(gè)視點(diǎn)，目前多視點(diǎn)視頻通常采用立體建模制作或雙目立體視頻轉(zhuǎn)多目立體視頻方式產(chǎn)生。

由于多視點(diǎn)立體視頻的字幕處理和平面視頻及雙目立體視頻字幕處理方法均不同，現(xiàn)有的立體播放設(shè)備往往還不支持常見的字幕文件。針對(duì)多視點(diǎn)立體視頻的字幕處理方法，目前還沒有統(tǒng)一的標(biāo)準(zhǔn)和規(guī)范。如果采用手動(dòng)方式往多視點(diǎn)立體視頻序列中依次插入透明字幕圖片的方法進(jìn)行立體字幕的疊加，工作量非常巨大且深度感不易調(diào)整和測試。因此，在制作高質(zhì)量的多視點(diǎn)立體視頻的內(nèi)容過程中，如何對(duì)字幕信息進(jìn)行處理是裸眼立體內(nèi)容制作的一個(gè)研究熱點(diǎn)。

發(fā)明內(nèi)容

本實(shí)發(fā)明所要解決的技術(shù)問題是，提出一種多視點(diǎn)立體視頻字幕處理方法，用于多視點(diǎn)立體視頻的字幕生成和疊加，提高字幕顯示品質(zhì)，使觀看者在觀看多視點(diǎn)立體視頻中擁有更好的字幕效果體驗(yàn)。

本發(fā)明解決上述技術(shù)問題所采用的技術(shù)方案是：一種多視點(diǎn)立體視頻字幕處理方法，其特征在于，包括以下步驟：

a.記錄多視點(diǎn)立體視頻視點(diǎn)數(shù)，獲取多視點(diǎn)立體視頻中單路視頻圖像的分辨率，確定字幕顯示區(qū)域的位置，保證字幕信息能在該區(qū)域完全顯示；

b.讀取多視點(diǎn)立體視頻內(nèi)容，獲取任意一對(duì)相鄰視點(diǎn)的視頻信號(hào)；

c.讀入字幕文件，獲得每一次字幕顯示的時(shí)間信息，將每次字幕顯示時(shí)對(duì)應(yīng)的相鄰左右路視點(diǎn)首副圖像放入到緩沖區(qū)以待分析；

d.對(duì)字幕顯示區(qū)域進(jìn)行立體圖像像素匹配，獲得相鄰左右路圖像的最大視差信息，確定插入多視點(diǎn)立體視頻各視點(diǎn)字幕的視差數(shù)據(jù)；

e.讀入字幕文件，根據(jù)各視點(diǎn)字幕的視差數(shù)據(jù)進(jìn)行字幕的疊加，將字幕壓縮到多視點(diǎn)立體視頻內(nèi)容之中；

f.根據(jù)字幕文件中字幕顯示的時(shí)間區(qū)域持續(xù)插入立體字幕信息并與多視點(diǎn)立體視頻內(nèi)容一起進(jìn)行編碼，當(dāng)遇到新的字幕文件時(shí)，返回步驟c。

進(jìn)一步的，步驟f還包括：當(dāng)檢測到所有字幕信息顯示結(jié)束時(shí)，仍須對(duì)后續(xù)未編碼的多視點(diǎn)立體視頻內(nèi)容進(jìn)行編碼。

具體的，所述多視點(diǎn)立體視頻內(nèi)容為已拼接的多視點(diǎn)立體圖像，則步驟a還包括：對(duì)多視點(diǎn)立體視頻各視點(diǎn)圖像進(jìn)行分離。

更具體的，所述步驟a中，在獲取單路視頻圖像分辨率的過程中，對(duì)于水平或垂直方向有分辨率損失的圖像進(jìn)行分辨率還原，得到單路信號(hào)的全分辨率圖像序列。

進(jìn)一步的，所述步驟b中，多視點(diǎn)立體字幕顯示區(qū)域?yàn)槎嘁朁c(diǎn)立體視頻內(nèi)容畫面的下方矩形區(qū)域。

具體的，步驟d中，對(duì)字幕顯示區(qū)域進(jìn)行立體圖像像素匹配，獲得相鄰左右路視點(diǎn)圖像的最大視差信息的具體方法為：假設(shè)該字幕顯示區(qū)域的水平像素寬度為M，則可將該區(qū)域分為個(gè)NxN的子塊；假設(shè)左路圖像中的某個(gè)NxN塊的左上角像素點(diǎn)的坐標(biāo)為(x_i，y_i)，經(jīng)過與相鄰右視點(diǎn)立體圖像像素匹配后，對(duì)應(yīng)右路圖像匹配塊的左上角像素點(diǎn)的坐標(biāo)為記如果d為正，則該子塊位于立體顯示屏外，如果d為負(fù)，則該子塊位于立體顯示屏內(nèi)；

依次對(duì)左路圖像字幕顯示區(qū)域各子塊進(jìn)行立體圖像匹配，記錄左路子塊及其相鄰右路匹配塊的左上角像素點(diǎn)的橫坐標(biāo)之差的最大值dmax，假設(shè)多視點(diǎn)立體視頻的視點(diǎn)數(shù)為n，則有：

當(dāng)dmax＞0時(shí)，相鄰視點(diǎn)字幕的視差數(shù)據(jù)為：

ds＝(1+k)dmax，其中k的取值在0.10～0.15之間；

以多視點(diǎn)立體視頻中最左路視頻為參考，則從左往右第i路視頻與最左路字幕信息的視差數(shù)據(jù)為：

ds＝(i-1)(1+k)dmax，(i≤n)；