[發(fā)明專利]一種視頻圖像中疊加時(shí)間字符的增強(qiáng)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010422327.3
• 申請(qǐng)日: 2020-05-19
• 公開（公告）號(hào): CN111899202A
• 公開（公告）日: 2020-11-06
• 發(fā)明（設(shè)計(jì)）人: 聶暉;楊小波;李軍
• 申請(qǐng)（專利權(quán)）人: 武漢東智科技股份有限公司
• 主分類號(hào): G06T5/20
• 分類號(hào): G06T5/20;G06T7/194;G06N3/04
• 代理公司: 北京眾達(dá)德權(quán)知識(shí)產(chǎn)權(quán)代理有限公司 11570
• 代理人: 劉杰

本發(fā)明屬于計(jì)算機(jī)視覺領(lǐng)域，尤其涉及一種視頻圖像時(shí)間標(biāo)注信息的識(shí)別增強(qiáng)方法。本發(fā)明包括：訓(xùn)練UNet(一種圖像分割神經(jīng)網(wǎng)絡(luò))實(shí)現(xiàn)圖像中像素級(jí)時(shí)間字符提取模型；在待檢圖像上借助時(shí)間字符提取模型對(duì)原始圖像背景進(jìn)行灰色化抑制，以增強(qiáng)被識(shí)別時(shí)間字符的可辨識(shí)度。本發(fā)明針對(duì)自然場景監(jiān)控圖像中的字符特征，實(shí)現(xiàn)了一種時(shí)間標(biāo)注信息的增強(qiáng)方法，攻克了對(duì)視頻圖像‘無襯底’疊加時(shí)間字符進(jìn)行識(shí)別時(shí)亟待解決的難題。本發(fā)明關(guān)注疊加字符與圖像背景的‘分離?抑制’處理，是一種場景文字識(shí)別領(lǐng)域極具應(yīng)用價(jià)值的圖像增強(qiáng)技術(shù)。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)視覺領(lǐng)域，適用于公安及相關(guān)行業(yè)視頻監(jiān)控系統(tǒng)畫面中疊加時(shí)間字符的檢測。尤其涉及一種視頻圖像時(shí)間標(biāo)注信息的識(shí)別增強(qiáng)方法。

背景技術(shù)

隨著社會(huì)安全管理的發(fā)展，海量視頻監(jiān)控圖像中時(shí)間標(biāo)注信息的識(shí)別，對(duì)于公安行業(yè)的技偵工作具有顯著而特殊的應(yīng)用價(jià)值，也是公安部對(duì)全國視頻圖像聯(lián)網(wǎng)應(yīng)用平臺(tái)運(yùn)維工作的考核內(nèi)容之一。

依據(jù)《GA/T 751-2008視頻圖像文字標(biāo)注規(guī)范》實(shí)施要求，在自然場景圖像中疊加的時(shí)間字符，不能使用‘襯底’圖塊掩蓋背景。不難理解，字符疊加于戶外監(jiān)控的隨機(jī)場景圖像上，單個(gè)字符筆畫空隙之間、相鄰字符間隔之間都保持背景可見，極易受到光照隨機(jī)分布、背景瑣碎物體等干擾，給時(shí)間字符識(shí)別帶來較大的難度。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題是針對(duì)自然場景圖像中‘無襯底’疊加的時(shí)間字符,提出一種字符增強(qiáng)技術(shù)方案，克服現(xiàn)有技術(shù)存在的視頻圖像時(shí)間標(biāo)注信息的識(shí)別難題。

為解決上述技術(shù)問題，本發(fā)明的基本技術(shù)構(gòu)思是，訓(xùn)練UNet(一種圖像分割神經(jīng)網(wǎng)絡(luò))實(shí)現(xiàn)圖像中像素級(jí)時(shí)間字符提取模型；在待檢圖像上借助時(shí)間字符提取模型對(duì)原始圖像背景進(jìn)行灰色化抑制，以增強(qiáng)被識(shí)別時(shí)間字符的可辨識(shí)度。

為此，本發(fā)明提出一種針對(duì)視頻圖像中疊加時(shí)間字符的增強(qiáng)方法，包括以下步驟：

步驟i、定制化批量生成UNet訓(xùn)練樣本；

步驟ii、使用UNet訓(xùn)練圖像中時(shí)間字符像素的提取模型；

步驟iii、基于時(shí)間字符提取模型得到的蒙版對(duì)待檢圖像背景進(jìn)行抑制。

優(yōu)選的，所述步驟i，定制化生成UNet批量訓(xùn)練樣本的具體步驟包括：

1-1)取批量隨機(jī)的視頻圖像作為背景，繪制黑白顏色、多種字體的時(shí)間字符，‘無襯底’疊加在其上，作為訓(xùn)練輸入樣本；

1-2)取同等大小的黑色圖像作為背景，在與輸入樣本相同坐標(biāo)位置上疊加顏色為白色、其它內(nèi)容與特征相同的時(shí)間字符，作為一一對(duì)應(yīng)的提取目標(biāo)樣本；

優(yōu)選的，所述步驟ii、使用UNet訓(xùn)練圖像中時(shí)間字符像素的提取模型的具體步驟包括：

2-1)設(shè)置特征提取卷積網(wǎng)絡(luò)結(jié)構(gòu)

M組‘卷積+池化下采樣’，其中每組卷積有N層，并包含BatchNormal和ReLU操作；

M組池化后使用一層單層卷積調(diào)整通道數(shù)，以匹配后續(xù)的上采樣；

K組‘上采樣+卷積’，其中每組卷積有L層；

每一層上采樣的輸出矩陣，依次連接到對(duì)應(yīng)下采樣卷積層的輸出矩陣；

K組上采樣后使用一層單層卷積將通道數(shù)減少至1，用于輸出最終特征。

2-2)定義訓(xùn)練參數(shù)，輸出分割模型

卷積層配置，輸出channel數(shù)量maps，卷積核大小k，stride為s，padding為p；

池化和上采樣配置，滑窗大小Window，stride為s，padding為p；