[發明專利]一種視頻文字多幀融合的方法

無效

• 申請號: 200910088875.0
• 申請日: 2009-07-21
• 公開（公告）號: CN101615255A
• 公開（公告）日: 2009-12-30
• 發明（設計）人: 易劍;彭宇新;肖建國
• 申請（專利權）人: 北京大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F17/30
• 代理公司: 北京君尚知識產權代理事務所(普通合伙）
• 代理人: 余功勛

技術領域

本發明屬于視頻內容分析和檢索技術領域，具體涉及一種視頻文字多幀 融合的方法。

背景技術

隨著互聯網技術與多媒體技術的迅速發展，網絡上出現了海量的視頻內 容；由于業務的需要，電視臺等媒體單位積累了大量的視頻資料；遠程教學， 視頻點播，數字圖書館等多媒體技術的廣泛應用，也產生了大量的視頻。面 對如此海量視頻信息，如何對之進行索引，使用戶能夠迅速檢索到想要的內 容，成為了一個急待解決的問題。傳統的方法基于人工標注的關鍵詞進行檢 索，這種方法因為主觀性強，手工標注等缺點，不能適用于海量視頻內容的 分析與檢索，因此，基于內容的視頻檢索技術成為了研究的熱點。在現有的相 關研究中，大量視頻包含了豐富的文字信息，這些文字信息一般同視頻的內 容密切相關，能夠對之進行較為準確的描述，如果能夠正確識別這些文字， 必將大大有利于視頻檢索技術的發展。

現有的視頻文字識別方法主要是基于單幀的，這些方法把視頻看作是相 互獨立的視頻幀序列，在各個視頻幀中分別提取和識別文字。然而，視頻中 的文字一般會持續出現于多個連續的視頻幀中，存在著冗余的信息，對這些 冗余的文字信息進行融合，可以達到平滑文字背景，提高文字對比度和獲取 清晰文字筆畫的目的，從而大大提高文字提取與識別的準確率。因此，近年 來，一些研究者提出了多幀融合的方法，對出現在多個連續視頻幀中，包含 相同內容的文字區域進行融合。

把出現在連續視頻幀中，包含相同文字的多個文字區域稱為一個文字區 域組，現有的多幀融合方法主要解決兩個問題：即文字區域組的識別，和文 字區域組的融合。在現有關于文字區域組識別的研究中，有的方法采用了圖 像匹配的方法在相鄰的視頻幀中搜索包含相同文字的區域，這種方法較為準 確，但復雜度較高；其它一些方法簡單地認為在相鄰視頻幀的同一位置上檢 測到的文字區域包含了相同的文字，這種方法效率較高，但其準確度較差， 當不同的文字在相鄰視頻幀中出現的時候，容易發生錯誤。在關于文字組融 合的研究中，現有方法有的采用了平均融合，這種方法能夠對簡化復雜的背 景，但不能提高文字與背景的對比度；有的方法采用了最小值融合，這種方 法可以提高文字與背景的對比度，但容易受到噪聲的影響，產生含有模糊文 字的融合結果。這些方法都不能同時取得簡單的背景，較高的對比度以及清 晰的文字。此外，現有多幀融合方法的另一個不足之處在于，這些方法都沒 有考慮融合過程中模糊文字對于融合結果的影響，而這些模糊的文字會對多 幀融合的結果產生較大影響，使得融合得到的文字模糊不清，從而導致較差 的文字提取與識別結果。

2002年在IEEE?International?Conference?on?Image?Processing上發表的文獻 “A?comprehensive?method?for?multilingual?video?text?detection，localization，and extraction”(作者是Xian-Sheng?Hua，Pei?Yin和Hong-Jiang?Zhang)，提出了 一種視頻文字多幀融合的方法。

該文獻認為，相同文字在連續視頻幀中持續出現，并處于同樣的位置， 因此首先根據文字區域的位置信息來識別具有相同內容的多個文字區域；然 后根據文字區域內是否包含一定數量的低灰度值像素，來判斷文字區域是否 具有較高的對比度，并舍棄那些對比度較低的文字區域；最后對具有較高對 比度的文字區域進行融合，得到融合結果。經過該方法的處理，能夠得到文 字筆畫更為清晰的文字區域，從而有效改進了文字提取與識別的結果。然而， 這種方法具有如下不足：當含有不同內容的文字區域在連續視頻幀中處于相 近位置時，容易把它們錯誤判斷為含有相同的文字；同時，該方法也沒有考 慮模糊的文字區域對于融合結果的影響，對于圖像質量比較差的視頻，融合 結果較差，因此，該方法還需要得到改進。

發明內容

針對現有方法的不足，本發明提出了一種視頻文字多幀融合的方法，用于 對出現在連續視頻幀中，包含相同內容的多個文字區域進行融合。

本發明的技術方案如下：

一種視頻文字多幀融合的方法，用于對出現在多個連續視頻幀中，包含 相同內容的文字區域進行融合，包括如下步驟：

1)在連續視頻幀的文字區域檢測結果中識別文字區域組，所述文字區域 組指包含相同內容的多個文字區域；