[發(fā)明專利]基于幀間信息的視頻文字處理方法

無效

• 申請?zhí)枺?/td>: 201110391472.0
• 申請日: 2011-11-30
• 公開（公告）號: CN102521805A
• 公開（公告）日: 2012-06-27
• 發(fā)明（設(shè)計）人: 田巖;許毅平;文灝;陳柱;孫福生
• 申請（專利權(quán)）人: 華中科技大學(xué)
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 華中科技大學(xué)專利中心 42201
• 代理人: 朱仁玲

技術(shù)領(lǐng)域

本發(fā)明屬于視頻圖像處理應(yīng)用領(lǐng)域，具體涉及一種基于幀間信息的視頻文字處理方法。

背景技術(shù)

視頻圖像處理中，文字提取以及圖像信息修復(fù)都有著十分廣泛的應(yīng)用前景，因此，近年來也越來越受到人們的重視。

然而目前自動定位圖像中文本區(qū)域的方法對于某些復(fù)雜背景中的文字也很難做到完整的檢測與提取。目前的圖像修復(fù)算法主要可以分成兩大類基于PDE的修復(fù)方法和基于紋理的修復(fù)方法。主要分別體現(xiàn)了推測與尋優(yōu)兩種不同的思路。這些方法往往基于圖像處理，忽略了視頻幀在時間上的相關(guān)性，從而導(dǎo)致修復(fù)結(jié)果不準(zhǔn)確，且修復(fù)結(jié)果在播放時容易出現(xiàn)閃爍，跳變等現(xiàn)象。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種基于幀間信息的視頻文字處理方法，其能夠解決現(xiàn)有方法中修復(fù)結(jié)果不準(zhǔn)確、且修復(fù)結(jié)果在播放時容易出現(xiàn)閃爍，跳變等問題。

本發(fā)明是通過以下技術(shù)方案實(shí)現(xiàn)的：

一種基于幀間信息的視頻文字處理方法，包括如下步驟：

(1)檢測當(dāng)前圖像的文本區(qū)域R(x，y，t)，設(shè)當(dāng)前圖像為f(x，y，t)，其前面的N幅圖像依次為f(x，y，t-1)，…，f(x，y，t-N)，這N幅圖像對應(yīng)的文本區(qū)域分別為R(x，y，t-1)，…，R(x，y，t-N)，其中x代表當(dāng)前圖像的橫坐標(biāo)，y代表當(dāng)前圖像的縱坐標(biāo)，t代表當(dāng)前圖像的幀數(shù)；

(2)對當(dāng)前圖像f(x，y，t)的文本區(qū)域R(x，y，t)進(jìn)行校驗(yàn)，具體包含以下子步驟：

(21)判斷文本區(qū)域t中的子區(qū)域是否在文本區(qū)域中出現(xiàn)過；

(22)若沒有出現(xiàn)過，則可確定該子區(qū)域是虛警區(qū)域，并將該子區(qū)域排除，并將文本區(qū)域R(x，y，t)更新為R_new(x，y，t)，其中R_new(x，y，t)為當(dāng)前圖像中的待修復(fù)區(qū)域；

(23)若出現(xiàn)過，則繼續(xù)對文本區(qū)域R(x，y，t)中其他子區(qū)域進(jìn)行校驗(yàn)；

(3)從前往后對文本區(qū)域R(x，y，t)進(jìn)行背景修復(fù)，具體包含以下子步驟：

(31)分析當(dāng)前圖像f(x，y，t)及其前N幀的運(yùn)動偏移，如果運(yùn)動較大，直接對下一幀進(jìn)行處理；如果運(yùn)動較小，則進(jìn)行步驟(32)；

(32)將當(dāng)前圖像的文本區(qū)域R_new(x，y，t)及其前N幀的文本區(qū)域R(x，y，t-1)，…，R(x，y，t-N)進(jìn)行比較，得到當(dāng)前圖像中可利用幀間信息修復(fù)的區(qū)域?yàn)镽_new(x，y，t)-R(x，y，t-1)，…，R_new(x，y，t)-R(x，y，t-N)；

(33)對當(dāng)前圖像f(x，y，t)中的區(qū)域，在前N幀中搜索最佳匹配塊完成修復(fù)，并更新R_new(x，y，t)；

(34)重復(fù)步驟(3)對后面一幀進(jìn)行處理，直至處理完整段視頻。(4)從最后一幀開始往前進(jìn)行背景修復(fù)，具體包含以下子步驟：

(41)分析當(dāng)前圖像f(x，y，t)與后N幀的運(yùn)動偏移，如果運(yùn)動較大，直接對前面一幀進(jìn)行處理，如果運(yùn)動較小，則進(jìn)行步驟(42)；

(42)將當(dāng)前圖像的文本區(qū)域R_new(x，y，t)與后N幀的文本區(qū)域R(x，y，t+1)，…，R(x，y，t+N)進(jìn)行比較，得到當(dāng)前圖像中可利用幀間信息修復(fù)的區(qū)域?yàn)镽_new(x，y，t)-R(x，y，t+1)，…，R_new(x，y，t)-R(x，y，t+N)；

(43)對當(dāng)前圖像f(x，y，t)中的區(qū)域，在后N幀中搜索最佳匹配塊完成修復(fù)，并更新R_new(x，y，t)；

(44)如果此時那么對剩余的文本區(qū)域，在本幀中搜索最佳的匹配塊進(jìn)行修復(fù)；否則重復(fù)步驟(4)對前面一幀進(jìn)行處理，直到處理完整段視頻。

本發(fā)明的方法具有以下優(yōu)點(diǎn)：(1)基于視頻文字字幕的連續(xù)性，本發(fā)明方法提出利用幀間信息校驗(yàn)檢測區(qū)域，來提高區(qū)域定位的準(zhǔn)確性；(2)基于視頻內(nèi)容的連續(xù)性，本發(fā)明方法利用幀間可用信息來完成修復(fù)，這樣既能既能快速的找到最佳匹配信息，又保證了修復(fù)結(jié)果的正確性；(3)本發(fā)明方法將每次修復(fù)的結(jié)果都作為下一次修復(fù)的可用信息，不斷累積和延續(xù)修復(fù)結(jié)果的連續(xù)性，可以很大程度上減少圖像處理方法所產(chǎn)生的幀間閃爍和跳變。總而言之，本發(fā)明可保證檢測定位的準(zhǔn)確性，保證修復(fù)結(jié)果的正確性，保證視頻結(jié)果的時間連續(xù)性。

附圖說明

圖1(a)為原始圖像。

圖1(b)示出經(jīng)過現(xiàn)有技術(shù)方法處理后的圖像。