[發(fā)明專利]字幕存在時間確定裝置和方法

有效

• 申請?zhí)枺?/td>: 200810074125.3
• 申請日: 2008-02-14
• 公開（公告）號: CN101510260A
• 公開（公告）日: 2009-08-19
• 發(fā)明（設(shè)計）人: 白洪亮;孫俊;勝山裕;藤本克仁;直井聰
• 申請（專利權(quán)）人: 富士通株式會社
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06T5/00
• 代理公司: 北京三友知識產(chǎn)權(quán)代理有限公司
• 代理人: 孫海龍

技術(shù)領(lǐng)域

本發(fā)明涉及確定視頻中字幕的存在時間的裝置和方法。

背景技術(shù)

近年來，隨著廣播電視電影的發(fā)展，產(chǎn)生了大量的視頻。同時，隨 著數(shù)碼相機和數(shù)碼攝像機的普及，普通大眾也制作出了各種視頻。對這 些視頻進行分析和檢索成為許多人的要求。視頻中通常包含字幕信息。 對現(xiàn)有的圖像應(yīng)用視頻處理、光學(xué)字符識別技術(shù)來提取字幕信息，為有 效的視頻分析和檢索提供了重要的信息。字幕信息包括事件發(fā)生時間、 地點、當(dāng)事人、體育比賽的比分、天氣預(yù)報、商品的價格、股票的行情 等等。

在視頻中，一個字幕可以在空間和時間上表示。在空間上，字幕存 在于視頻中某一幀圖像的某一位置上，在時間上，它開始于視頻序列中 的某一幀，結(jié)束于視頻序列的某一幀。所以，對整個字幕表達處理過程 包括兩個步驟：第一個步驟是確定字幕在圖像中的位置，第二個步驟是 確定在視頻中的時間位置，這個時間包括字幕的開始時間和結(jié)束時間。 連續(xù)的一段時間相對于單幀圖像更有意義，它可以向用戶提供更全面的 信息。

對于第一個步驟，可以基于不同的特征來提取字幕區(qū)域。例如，連 通域特征、邊緣特征和紋理特征。基于連通域特征的方法算法簡單、運 算速度快，但很難適應(yīng)復(fù)雜的背景情況。在基于邊緣特征的方法中，有 效地統(tǒng)計邊緣特征是一個復(fù)雜問題。在基于紋理特征的方法中，運算時 間消耗大，通常要利用視頻解碼算法來提取運動矢量信息。運動矢量的 提取本身就是一個困難問題，所以使用這種特征的方法很少。本申請的 發(fā)明人已經(jīng)在其它專利中提出了基于角點特征的多尺度視頻定位方法。 本申請主要解決如何確定字幕的時間的問題。

確定字幕出現(xiàn)時間的文獻相對很少。專利文獻1和2使用基于 signature算法跟蹤視頻中的文本。由于要對二值圖進行直方圖統(tǒng)計，所 以其性能受圖像分割的結(jié)果影響。專利文獻3簡單地使用字幕的位置信 息確定音樂視頻中字幕的開始和結(jié)束時間，如果視頻中連續(xù)的兩個字幕 出現(xiàn)在相似的位置上，該專利就會失效。專利文獻4使用相似顏色和位 置信息作為特征來跟蹤字幕，同樣也要受到上面特殊情況的影響。非專 利文獻5的方法使用基于SSD(Sum?of?Square?Difference)的圖像匹配算 法來跟蹤文本區(qū)域，這種匹配算法是針對灰度圖像進行的，并沒有考慮 到文本的本質(zhì)特征，如紋理和邊緣信息，同時由于該方法利用原始的圖 像信息，因此對那些背景比較復(fù)雜的情況適應(yīng)性不好。非專利文獻6的 方法使用QSDD(Quantized?Spatial?Difference?Density)來檢測字幕發(fā)生變 化的幀的位置，相對于SSD該技術(shù)有一定的改進，但是它也僅利用連續(xù) 的兩幀而已，過去幀的信息被忽略，沒有一個逐步學(xué)習(xí)的過程。非專利 文獻7和專利文獻8由于利用識別引擎產(chǎn)生的字符的編碼和可信度等比 較上層的特征，確定連續(xù)幀之間的關(guān)系，所以跟蹤效果在時間的效率不 是很高，而且如何合并這些結(jié)果也是一個復(fù)雜的問題。

專利文獻1：Rainer?Wolfgang，Lienhart，Axel?Wernicke，Generalized text?localization?in?images，Patent?No.6,470,094[美國]

專利文獻2：Rainer?Wolfgang?Lienhart，Axel?Wernicke，Estimating?text color?and?segmentation?of?images，Patent?No.6,473,522[美國]

專利文獻3：Lu?Lie，Sun?Yan-Feng，Li?Mingjing，Hua?Xian-Sheng， Zhang?Hong-Jiang，Automatic?detection?and?segmentation?of?music?videos?in an?audio/video?stream，Pub.No.：2004/0170392[美國]

專利文獻4：Sanghoon?Sull，Hyeokman?Kim，Min?Chung，Sangwook Lee，Sangwook?Oh，System?and?method?for?indexing，searching，identifying， and?editing?multimedia?files，Pub.No.：2007/0038612[美國]