[發明專利]一種視頻圖像中疊加透明時間字符的夜間成像識別方法

有效

• 申請號: 202010422410.0
• 申請日: 2020-05-19
• 公開（公告）號: CN111898606B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 聶暉;楊小波;李軍
• 申請（專利權）人: 武漢東智科技股份有限公司
• 主分類號: G06V30/148
• 分類號: G06V30/148;G06V10/82;G06N3/0442;G06N3/0464;G06N3/08
• 代理公司: 北京眾達德權知識產權代理有限公司 11570
• 代理人: 劉杰

本發明屬于計算機視覺領域，涉及一種夜間視頻圖像中透明時間標注信息的識別方法，包括：改進CRNN的訓練過程配置；制作透明時間字符疊加夜間背景圖像作為訓練輸入樣本；引入二維注意力機制模塊訓練出適合夜間透明時間字符的識別模型；使用識別模型從夜間待檢圖像中輸出時間識別結果并進行邏輯校驗。本發明針對主流攝像機設備上透明時間標注信息的識別需求，使用夜間成像環境，初步提升透明時間字符與背景圖像的差異性，并進一步增強透明時間字符的特征提取能力，構造了自然場景‘無襯底’疊加透明特征文本的識別模型，實現了夜間成像環境下、具備特征加權抽取能力的透明時間字符識別方法。

技術領域

本發明屬于計算機視覺領域，可用于公安及相關行業視頻監控系統畫面中疊加時間字符的檢測。尤其涉及一種夜間視頻圖像中透明時間標注信息的識別方法。

背景技術

在針對視頻監控圖像中疊加時間字符的識別方案設計過程中，發現某些主流品牌的攝像機在疊加字符時可能采用筆畫透明(即非黑非白的灰色)顯示的風格，這給本已面臨諸多困難的‘無襯底’背景的字符識別帶來了新的挑戰。有實驗數據顯示，在相同的自然場景下，使用字符筆畫透明風格比不透明(純黑色或純白色)風格，其識別準確率下降20％以上，嚴重影響了方案的預期應用效果。

基于深度學習技術的圖像中疊加時間字符的識別算法，為了獲得較理想的效果，一般都會假定應用場景的約束條件——即在圖像中采用規范的、純黑色或純白色、非透明風格標注疊加的字符。由于透明字符固有的低對比度屬性，極容易與圖像的自然背景產生混淆，而變得更加不易辨認，直接影響訓練模型的性能。

通過實驗數據分析，單純依靠算法訓練來提升筆畫透明字符的識別準確率，已經遇到了瓶頸。

發明內容

本發明所要解決的技術問題是，針對筆畫透明時間字符的識別需求，提供一種夜間視頻圖像中透明時間字符的識別方法。

本發明的基本技術構思是，改進CRNN(一種基于圖像序列的通用文本識別神經網絡)的訓練過程配置；制作透明時間字符疊加夜間背景圖像作為訓練輸入樣本；引入二維注意力機制模塊訓練出適合夜間透明時間字符的識別模型；使用識別模型從夜間待檢圖像中輸出時間識別結果并進行邏輯校驗。

為解決上述技術問題，本發明提出一種滿足夜間成像中透明時間字符的識別方法，包括以下步驟：

步驟i、改進CRNN通用文本識別網絡的訓練方法；

步驟ii、制作CRNN夜間透明時間字符訓練樣本；

步驟iii、引入注意力模塊強化訓練夜間透明時間字符識別模型；

步驟iv、識別夜間待檢圖像中的透明時間字符并校驗輸出值的合理性。

優選的，所述步驟i，改進CRNN通用文本識別網絡的訓練方法的具體步驟包括：

1-1)在主干ResNet分類網絡(一種主流CNN卷積網絡)的特征提取環節，采用3層采樣，以保留字符的更多橫向特征；

1-2)在提取字符高度特征時，使用最大值池化；

1-3)選擇單層LSTM(長短時記憶網絡)，將其輸出的隱藏層向量，用于注意力向量計算。

優選的，所述步驟ii，制作CRNN夜間透明時間字符訓練樣本的具體步驟包括：

2-1)在背景透明圖像上，使用字符像素渲染函數在其上生成黑白顏色、多種字體、多種時間格式的時間字符；

2-2)使用PerlinNoise噪點圖對上述時間字符筆畫像素生成隨機斑點；

2-3)對帶有隨機斑點的時間字符進行透明度處理，疊加到隨機的夜間背景圖像上作為訓練的輸入樣本；