[發明專利]一種視頻圖像中疊加透明時間字符的夜間成像識別方法

有效

• 申請號: 202010422410.0
• 申請日: 2020-05-19
• 公開（公告）號: CN111898606B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 聶暉;楊小波;李軍
• 申請（專利權）人: 武漢東智科技股份有限公司
• 主分類號: G06V30/148
• 分類號: G06V30/148;G06V10/82;G06N3/0442;G06N3/0464;G06N3/08
• 代理公司: 北京眾達德權知識產權代理有限公司 11570
• 代理人: 劉杰

1.一種夜間圖像中疊加透明時間字符的字符識別方法，其特征在于，包括以下步驟：

步驟i、改進CRNN通用文本識別網絡的訓練方法；

步驟ii、制作CRNN夜間圖像透明時間字符訓練樣本；

步驟iii、引入注意力模塊強化訓練夜間圖像透明時間字符識別模型；

步驟iv、識別待檢夜間圖像中的透明時間字符并校驗輸出值的合理性；

所述步驟i，改進CRNN通用文本識別網絡的訓練方法的具體步驟包括：

1-1)在主干ResNet分類網絡的特征提取環節，采用3層采樣，以保留字符的更多橫向特征；

1-2)在提取字符高度特征時，使用最大值池化；

1-3)選擇單層LSTM，將其輸出的隱藏層向量，用于注意力向量計算；

所述步驟iii、引入注意力模塊強化訓練夜間圖像透明時間字符識別模型的具體步驟包括：

3-1)采用CTC編碼體系，記錄從特征圖解碼出的每一個時間字符特征與其目標時間字符文本的匹配概率向量；

3-2)在解碼輸出匹配概率向量的同時，將LSTM內部的隱藏層向量疊加到處理過的特征圖上生成一個注意力權重圖，對相應位置時間字符進行特征增強；

3-3)在注意力模塊中，將注意力權重圖降維成注意力向量，和匹配概率向量進行加計算，得到最終的目標字符匹配概率向量；

3-4)當匹配概率整體最優時，即得到時間字符識別模型。

2.根據權利要求1所述的夜間圖像中疊加透明時間字符的字符識別方法，其特征在于，所述步驟ii，制作CRNN夜間圖像透明時間字符訓練樣本的具體步驟包括：

2-1)在背景透明圖像上，使用字符像素渲染函數在其上生成黑白顏色、多種字體、多種時間格式的時間字符；

2-2)使用PerlinNoise噪點圖對上述時間字符筆畫像素生成隨機斑點；

2-3)對帶有隨機斑點的時間字符進行透明度處理，疊加到隨機生成的夜間背景圖像上作為訓練的輸入樣本；

2-4)取2-1)中時間字符的文本形式，將其中非標準時間格式的時間字符進行忽略和強制替換處理，作為與2-3)匹配的識別目標樣本。

3.根據權利要求2所述的夜間圖像中疊加透明時間字符的字符識別方法，其特征在于，所述步驟iv，識別夜間待檢圖像中的時間字符并校驗輸出值的合理性的具體步驟包括：

4-1)在夜間時段采集視頻監控設備的待檢圖像，輸入識別模型；

4-2)當識別輸出的數字字符數量不足標準的時候，判定為無法校驗，強制轉化為特定時間值；

4-3)對識別輸出的數字字符數量超出標準的，補齊或刪除多余的時間連接符號‘-和:’；

4-4)按照‘年月日’和‘時分秒’的邏輯約束，并結合3-3)中記錄的匹配概率，完成時間分割和修正，轉化為最終時間值。