[發(fā)明專利]視頻圖像文字的檢測(cè)方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201110428091.5
• 申請(qǐng)日: 2011-12-19
• 公開（公告）號(hào): CN103020618A
• 公開（公告）日: 2013-04-03
• 發(fā)明（設(shè)計(jì)）人: 蘇鵬宇;徐洪偉
• 申請(qǐng)（專利權(quán)）人: 北京捷成世紀(jì)科技股份有限公司
• 主分類號(hào): G06K9/32
• 分類號(hào): G06K9/32;G06K9/62
• 代理公司: 北京路浩知識(shí)產(chǎn)權(quán)代理有限公司 11002
• 代理人: 王瑩

技術(shù)領(lǐng)域

本發(fā)明涉及圖像文字檢測(cè)技術(shù)領(lǐng)域，尤其涉及一種視頻圖像文字的檢測(cè)方法及系統(tǒng)。

背景技術(shù)

隨著數(shù)字化網(wǎng)絡(luò)化的發(fā)展，數(shù)字圖像和視頻越來愈多，圖片或視頻中文字能夠提供直接的高層語義信息，因此開發(fā)視頻圖像文字檢測(cè)技術(shù)，有助于理解和管理視頻圖像等。比如檢測(cè)和分析圖片中文字內(nèi)容，有助于為不良內(nèi)容圖片過濾和監(jiān)控提供有效的特征，新聞視頻中的標(biāo)題通常標(biāo)示新聞的時(shí)間地點(diǎn)人物，對(duì)于新聞內(nèi)容分析和檢索提供支撐，體育比賽視頻中，比賽出現(xiàn)的比分，運(yùn)動(dòng)員號(hào)碼對(duì)于自動(dòng)視頻內(nèi)容分析，精彩體育瞬間檢測(cè)具有重要作用。在自然場(chǎng)景中圖像文字同樣包含重要信息，如交通指示牌內(nèi)容分析，可以幫助外國游客理解中國交通規(guī)則，幫助盲人在街道無障礙行走(文字轉(zhuǎn)為語音)。因此圖片中的文字檢索一直以來都是一個(gè)非常有意義的工作，同時(shí)也是一具有挑戰(zhàn)性的工作。

對(duì)于文字的檢測(cè)方法的研究，學(xué)者們也提出了不少各種各樣的方法，主要即針對(duì)本檢測(cè)對(duì)象文字的某些特征進(jìn)行提取，大致分為三類方法：基于邊緣特征的方法，基于連通成分顏色特征的方法，和基于紋理特征的文字檢索。

直接的觀察，文字區(qū)域一般具有較強(qiáng)的邊緣特征，卡內(nèi)基梅隆大學(xué)smith等人在“video?skimming?for?quike?browsing?based?on?audio?andimage?characterization”一文中將視頻中文字區(qū)域定義為水平的包含大量邊緣的矩形結(jié)構(gòu)，通過這種邊緣特征檢測(cè)文字，這種方法比較直觀，對(duì)于檢測(cè)和背景具有較大對(duì)比度的文字行具有較好的檢測(cè)效果。T.sato等人在“video?ocr?for?digital?news?archives”一文中采用和smith類似的邊緣特征和結(jié)構(gòu)限制方法檢測(cè)視頻中的標(biāo)題文字。浙江大學(xué)的張引，潘云鶴等人在“復(fù)雜背景下文本提取的彩色邊緣檢測(cè)算子設(shè)計(jì)”一文中提出了一種十分有效的邊緣檢測(cè)算子用于檢測(cè)視頻文本，其邊緣檢測(cè)在彩色圖像上進(jìn)行，使用全局直方圖分析的方法確定邊緣檢測(cè)閾值。基于邊緣的方法通常利用邊緣算子檢測(cè)圖像邊緣，然后通過一些經(jīng)驗(yàn)或者啟發(fā)式的規(guī)則給出文字候選區(qū)域。這種方法保證較高查全率同時(shí)也會(huì)有較多的誤檢。

基于顏色連通的方法，考慮到圖像中文字區(qū)域的連通和顏色一直性，一般利用圖像分割或者顏色聚類的方法將顏色相同的文字從背景中分割出來，再通過啟發(fā)式規(guī)則過濾文字區(qū)域。學(xué)者Jain和Yu提出的方法“automatic?text?location?in?images?and?video?frames”一文基于顏色連接成份分析是一種經(jīng)典的文字檢測(cè)算法，在其算法中，利用聚類算法將圖像首先分解許多值，顏色相同的成分經(jīng)過空間連接分析形成區(qū)域，然后定義一些判定文字非文字的準(zhǔn)則。這種方法對(duì)于同行文字出現(xiàn)不同顏色時(shí)，效果并不好。

基于紋理的方法，現(xiàn)在研究也比較多，有學(xué)者使用小波系數(shù)的均值，二階和三階中心矩作為紋理特征，在神經(jīng)網(wǎng)絡(luò)的框架內(nèi)進(jìn)行文字塊的檢測(cè)，對(duì)于檢測(cè)到的圖像塊，小的和孤立的塊被刪除，大并且密集的文字塊被連接成文字區(qū)域。中科院自動(dòng)化所Yan等人的方法“automatic?text?detection?in?video?frames?based?on?bootstrap?artificialneural?network?and?CED”基于小波系數(shù)提取紋理特征，然后使用Bootstrap神經(jīng)網(wǎng)絡(luò)分類文字非文字。這類方法在背景復(fù)雜時(shí)，直接使用紋理特征往往不能得出較好的分類效果。

由于視頻中圖像的文字大小不一，視頻文字行長(zhǎng)短不一、字體顏色多種多樣，文字圖像對(duì)比度低等原因，傳統(tǒng)的方法存在文字檢測(cè)的準(zhǔn)確性和查全率低等缺陷。

發(fā)明內(nèi)容

(一)要解決的技術(shù)問題

本發(fā)明要解決的技術(shù)問題是：提供一種視頻圖像文字的檢測(cè)方法及系統(tǒng)，其能夠提高視頻圖像文字檢測(cè)的準(zhǔn)確性和查全率。

(二)技術(shù)方案

為解決上述問題，本發(fā)明提供了一種視頻圖像文字的檢測(cè)方法，包括步驟：視頻圖像文字區(qū)域粗定位和視頻圖像文字區(qū)域定位驗(yàn)證，具體步驟為：

步驟A，視頻圖像文字區(qū)域粗定位：計(jì)算視頻圖像的高斯金字塔多尺度圖像，采用閾值分割方法分割出圖像文字區(qū)域，然后利用數(shù)學(xué)形態(tài)學(xué)中膨脹、腐蝕技術(shù)合并文字區(qū)域，最后通過連通域分析、文字行分割和剔除規(guī)則分析定位候選文字區(qū)域；

步驟B，視頻圖像文字區(qū)域定位驗(yàn)證：采用harr特征訓(xùn)練adaboost分類器，利用adaboost分類器檢測(cè)候選文字區(qū)域內(nèi)是否有文字，剔除未檢測(cè)文字的候選文字區(qū)域。