[發(fā)明專利]一種視頻中滾動字幕的自動檢測和識別方法

有效

• 申請?zhí)枺?/td>: 201410503515.3
• 申請日: 2014-09-26
• 公開（公告）號: CN104244073B
• 公開（公告）日: 2017-05-17
• 發(fā)明（設計）人: 汪陽;張健;彭宇新
• 申請（專利權）人: 北京大學
• 主分類號: H04N21/435
• 分類號: H04N21/435;H04N21/235;G06K9/00
• 代理公司: 北京君尚知識產權代理事務所(普通合伙)11200
• 代理人: 余功勛

1.一種視頻中滾動字幕的自動檢測和識別方法，其特征在于，包括以下步驟：

(1)檢測視頻幀圖像中的字幕區(qū)域，判斷含有的字幕是否為滾動字幕，若為滾動字幕則進一步判斷其是水平滾動還是垂直滾動；

該步驟利用字幕區(qū)域的位置信息、邊緣分布信息以及相似度信息來判斷是否為垂直滾動字幕；首先判斷連續(xù)兩幀視頻圖像的字幕區(qū)域是否有相交區(qū)域，而且相交區(qū)域的面積需要滿足公式一：

Overlap(B_a,B_b)>r₁×Max(area(B_a),area(B_b))，

其中，B_a，B_b表示連續(xù)視頻幀中檢測到的兩個字幕區(qū)域，Overlap(B_a,B_b)表示B_a與B_b相交區(qū)域的面積，r₁的取值范圍為0到1，area(B_a)與area(B_b)分別表示B_a與B_b的面積；如果公式一條件成立，則繼續(xù)進行垂直滾動字幕的判定；否則，進行下一步水平滾動字幕的判定；B_a與B_b判定為相交后，將B_a區(qū)域在垂直方向上移動offset偏移量，計算B_a與B_b相交區(qū)域的相似度，目的是得到能夠使得相似度最大的偏移量offset；相似度的計算采用公式二：

$Similar(B_a,B_b)=\frac{Sum\left(Same\right(B_a,B_b\left)\right)}{Overlap(B_a,B_b)},$

其中，Same(B_a,B_b)表示B_a與B_b相交區(qū)域二值化后，對應像素點的值是否相同，相同則其值為1，否則值為0；Sum(Same(B_a,B_b))表示B_a與B_b相交區(qū)域二值化后具有相同像素值的像素點的總數，計算得到的offset即為垂直滾動字幕的垂直運動速度，offset值大于0則為垂直滾動字幕；

(2)基于步驟(1)檢測到的多幀連續(xù)包含垂直滾動字幕的視頻圖像，采用自適應檢測窗口對檢測到的字幕區(qū)域進行過濾，將相同字幕的多幀視頻圖像的字幕區(qū)域根據背景和文字信息，選擇其中一幀作為OCR識別軟件的輸入；

(3)基于步驟(1)檢測到的多幀連續(xù)包含水平滾動字幕的視頻圖像，將多幀圖像拼接為一幀包含完整滾動字幕的視頻圖像，將該幀視頻圖像作為OCR識別軟件的輸入。

2.如權利要求1所述的方法，其特征在于，步驟(1)通過生成累積邊緣圖和文字區(qū)域定位與過濾，檢測視頻幀中是否包含字幕，并定位到字幕文字區(qū)域的位置。