[發(fā)明專利]一種適用于立體視頻的立體字幕添加位置自動選擇方法

有效

• 申請?zhí)枺?/td>: 201810359913.0
• 申請日: 2018-04-20
• 公開（公告）號: CN108712642B
• 公開（公告）日: 2020-07-10
• 發(fā)明（設(shè)計(jì)）人: 侯春萍;岳廣輝;楊陽;李北辰
• 申請（專利權(quán)）人: 天津大學(xué)
• 主分類號: H04N13/183
• 分類號: H04N13/183;H04N5/278
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 程毓英

1.一種適用于立體視頻的立體字幕添加位置自動選擇方法，步驟如下：

第一步：立體圖像視差計(jì)算

對于立體圖像對I_s，首先應(yīng)用光流法計(jì)算其視差圖D；

第二步：立體字幕初步位置判定，首先設(shè)定如下的A-C原則：

A.對于立體圖像選取上區(qū)域和下區(qū)域兩個區(qū)域作為字幕添加的候選區(qū)域，上區(qū)域范圍為其中W和H分別表示圖像的寬和高，下區(qū)域的范圍為

B.考慮將字幕添加在屏幕外邊更靠近觀看者的一端，以提高觀看立體感受；

C.基于光流法的視差圖，當(dāng)立體字幕在屏幕外邊更靠近觀看者的一端，視差值是負(fù)值；

立體字幕的初步位置由以下幾步實(shí)現(xiàn)：

1)對于待插入字幕Ω，在首先在上述定義的下區(qū)域內(nèi)左上方選取與Ω同樣大小的區(qū)域Λ用于字幕插入的初始候選區(qū)域，對于Λ，首先計(jì)算其內(nèi)部所有視差的均值μ，其次，計(jì)算所有視差值的方差δ；對于區(qū)域Λ內(nèi)，若一個像素的視差值在[μ-δ,μ+δ]之外，則認(rèn)為該點(diǎn)是奇異點(diǎn)；如果整個區(qū)域內(nèi)奇異點(diǎn)的個數(shù)與N的比值小于0.1且均值μ小于1°，視差最小值大于-1°，則認(rèn)為該區(qū)域適合添加字幕，可以作為字幕添加的候選區(qū)域，其中心像素點(diǎn)坐標(biāo)(Λ_x,Λ_y)作為候選字幕插入位置；字幕的視差設(shè)為d_min-0.106°，其中d_min表示該區(qū)域內(nèi)最小視差值；

2)對于上區(qū)域，根據(jù)從左到右，從上到下的順序?qū)γ恳粋€Λ進(jìn)行步驟1)的操作，可以獲得多個候選區(qū)域，對應(yīng)生成一個坐標(biāo)數(shù)據(jù)集C和一個視差數(shù)據(jù)集P；

3)如果對于下區(qū)域所有的區(qū)域Λ不存在適合字幕添加的候選區(qū)域，則將下區(qū)域換成上區(qū)域繼續(xù)重復(fù)上述操作1)-2)，若上下區(qū)域都不具備候選區(qū)域，則判定該圖像不適合添加立體字幕；

第三步：最優(yōu)字幕位置及視差選擇

將視差數(shù)據(jù)集P進(jìn)行從大到小進(jìn)行排序，從中選取一個視差數(shù)值作為立體字幕添加時候的最終視差值d_f，對于該視差值條件下可能會對應(yīng)著多個候選區(qū)域，假設(shè)這些區(qū)域?qū)?yīng)的坐標(biāo)組成集合Q，則立體字幕最終的坐標(biāo)位置(x,y)可以通過從集合中選擇距離坐標(biāo)點(diǎn)(X₀,Y₀)距離最近的坐標(biāo)位置來確定，其中，

第四步：基于時間序列的立體字幕位置選擇與優(yōu)化

通過第一步到第三步對立體視頻所有幀的立體圖像對進(jìn)行操作，每一幀會獲得一個對應(yīng)的字幕位置信息，這種位置信息分為三類，即字幕放置在下區(qū)域，放置在上區(qū)域以及不可放置字幕，進(jìn)一步對這些字幕進(jìn)行整合，步驟如下：

1)統(tǒng)計(jì)整個視頻幀序列的字幕放置信息，對于不可以放置字幕的幀，其左右相鄰15幀也不可以用于放置字幕；

2)對于連續(xù)的位于上區(qū)域或者下區(qū)域的視頻幀，當(dāng)連續(xù)的幀超過30幀則放置字幕，否則這些幀都不放置字幕；

通過上述兩步的調(diào)整，一個視頻序列可形成連續(xù)的字幕信息；對于一段連續(xù)的字幕信息，其視差值以該范圍內(nèi)所有幀的字幕的視差值的最小值d_f2來確定，位置為所有坐標(biāo)點(diǎn)的均值。