[發(fā)明專利]一種基于深度學(xué)習(xí)的車牌圖像去運(yùn)動模糊方法

有效

• 申請?zhí)枺?/td>: 201810205661.6
• 申請日: 2018-03-13
• 公開（公告）號: CN109035149B
• 公開（公告）日: 2021-07-09
• 發(fā)明（設(shè)計(jì)）人: 陳華華;毛勇;葉學(xué)義
• 申請（專利權(quán)）人: 杭州電子科技大學(xué)
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06K9/20;G06K9/34;G06K9/62
• 代理公司: 杭州君度專利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 朱月芬

1.一種基于深度學(xué)習(xí)的車牌圖像去運(yùn)動模糊方法，其特征在于包括以下操作：

步驟1、數(shù)據(jù)集預(yù)處理：

1-1、數(shù)據(jù)集包含清晰圖像模糊圖像對，用于標(biāo)定清晰的車輛圖像中車牌的位置；從清晰的車輛圖像和對應(yīng)的模糊車輛圖像中摳出完整的車牌區(qū)域，得到車牌區(qū)域的清晰圖像和模糊圖像對；

1-2、將車牌按照字符寬度分割得到34類單個字符數(shù)據(jù)集(O和I劃歸為0和1)，并統(tǒng)一歸范化到16*48*3大小，其中16、48和3分別表示圖像的寬度、高度和通道數(shù)；

1-3、將所有的模糊車牌字符圖像添加均值為μ，標(biāo)準(zhǔn)差為σ的高斯噪聲，將清晰車牌字符圖像和模糊車牌字符圖像的像素值均映射到[0,1]中；

1-4、從34類字符數(shù)據(jù)集中的每一類數(shù)據(jù)中隨機(jī)抽取N₁對作為訓(xùn)練數(shù)據(jù)集T，N₂對作為驗(yàn)證數(shù)據(jù)集V；

步驟2、訓(xùn)練階段的操作：

2-1、從訓(xùn)練數(shù)據(jù)集T中隨機(jī)抽取minibatch張模糊圖像和對應(yīng)的清晰圖像，并隨機(jī)裁剪16*16方形區(qū)域作為訓(xùn)練模糊圖像集B和清晰圖像集S，此時的訓(xùn)練模糊圖像集B和清晰圖像集S均為minibatch*3*16*16，minibatch表示圖像的數(shù)量，3表示圖像的顏色通道數(shù)，16*16為圖像的大小；將模糊圖像集B輸入生成器，得到生成器輸出的minibatch*3*16*16的圖像集L；

2-2、將生成器的輸出圖像集L和對應(yīng)的清晰圖像集S依次作為判別器的輸入，判別器依次輸出兩組置信度結(jié)果，每組置信度包含minibatch個概率值，以此判定每張輸入的圖像是清晰圖像還是生成的圖像，若概率值大于0.5，則判為清晰圖像；否則，判為生成圖像；

2-3、計(jì)算生成圖像集L和清晰圖像集S之間的均方誤差l_mse，即：

其中，c_k、w_k、h_k分別表示多尺度生成器中每個尺度圖像的顏色通道數(shù)、寬度以及高度，K表示尺度級數(shù),L_k是多尺度生成器生成的第k個尺度圖像，S_k是對應(yīng)的第k個尺度清晰圖像；多尺度通過對圖像多次降采樣得到尺寸縮小的圖像，同一幅圖像不同尺寸的數(shù)量表示尺度的級數(shù)，其中第一級尺度為原尺寸大小的圖像，從第二級開始，每一級圖像的尺寸為上一級圖像尺寸的寬度、高度各一半，即為上一級圖像大小四分之一；

2-4、計(jì)算生成圖像集L和清晰圖像集S的梯度圖像和并計(jì)算梯度圖像之間的梯度誤差l_grad，即：

其中，梯度圖像分別通過計(jì)算水平方向梯度值d_x和垂直方向的梯度值d_y絕對值之和得到，即：

2-5、計(jì)算生成圖像集L和清晰圖像集S的判別誤差l_adv，即：

式中，s～p(S)表示清晰圖像s取自于清晰圖像集S，其中p(S)表示清晰圖像集S的概率分布，b～p(B)表示模糊圖像b取自于模糊圖像集B，p(B)表示模糊圖像集B的概率分布，G(im)表示輸入圖像im經(jīng)生成器生成的結(jié)果圖像，D(im)表示判別器對輸入圖像im的判別概率，E(x)表示對x取期望；

2-6、計(jì)算總的損失函數(shù)l_db大小，即：

l_db＝l_mse+α₁l_grad+α₂l_adv (5)

其中α₁、α₂為大于0的正則項(xiàng)系數(shù)；

2-7、根據(jù)步驟2-5所述的式(4)判別誤差l_adv優(yōu)化判別器；

2-8、根據(jù)步驟2-6所述的式(5)總損失函數(shù)l_db優(yōu)化生成器；

2-9、從訓(xùn)練數(shù)據(jù)集T中隨機(jī)抽取minibatch張模糊圖像和對應(yīng)的清晰圖像重新組成模糊圖像集B和清晰圖像集S，通過步驟2-1到步驟2-8重復(fù)訓(xùn)練；

2-10、當(dāng)訓(xùn)練的總數(shù)據(jù)量達(dá)到訓(xùn)練集T的圖像數(shù)量時，將驗(yàn)證集V的模糊圖像依次輸入當(dāng)前訓(xùn)練完的生成器和判別器，計(jì)算驗(yàn)證集的平均總損失l_db，優(yōu)化判別器和生成器；

2-11、通過步驟2-1到步驟2-10進(jìn)行重復(fù)訓(xùn)練，直至該訓(xùn)練階段的訓(xùn)練集總損失函數(shù)值l_db變化小于閾值Th，則認(rèn)定該訓(xùn)練已達(dá)到收斂；

步驟3、測試階段的操作：

3-1、從運(yùn)動模糊的測試車牌圖像中摳出車牌區(qū)域；

3-2、將車牌區(qū)域按照字符間隔分割成單一的車牌字符并歸范化到為16*48*3大小，其中16、48和3分別表示圖像的寬度、高度和顏色通道數(shù)；

3-3、加載訓(xùn)練好的模型，輸入分割得到的測試車牌字符圖像，得到去模糊后的車牌字符圖像；

3-4、將去模糊后的車牌字符按照原次序組合得到去模糊后的整幅車牌圖像；

步驟2-5所述的判別器，具體如下：

判別器由七個卷積層、一個全連接層和一個Sigmoid激活層組成；首先，minibatch*3*16*16的圖像集輸入該判別器，第一層為32*3*3的卷積層，有32通道的卷積核，每個卷積核尺寸為3*3，步長為2，邊緣補(bǔ)零的寬度為1，輸出大小為minibatch*32*8*8；第二層為64*3*3的卷積層，有64通道的卷積核，每個卷積核尺寸為3*3，步長為1，邊緣補(bǔ)零的寬度為1，輸出大小為minibatch*64*8*8；第三層為64*3*3的卷積層，有64通道的卷積核，每個卷積核尺寸為3*3，步長為2，邊緣補(bǔ)零的寬度為1，輸出大小minibatch*64*4*4；第四層為128*3*3的卷積層，有128通道的卷積核，每個卷積核尺寸為3*3，步長為1，邊緣補(bǔ)零的寬度為1，輸出大小為minibatch*128*4*4；第五層為128*3*3的卷積層，有128通道的卷積核，每個卷積核尺寸為3*3，步長為2，邊緣補(bǔ)零的寬度為1，輸出大小為minibatch*128*2*2；第六層為256*3*3的卷積層，有256通道的卷積核，每個卷積核尺寸為3*3，步長為1，邊緣補(bǔ)零的寬度為1，輸出大小為minibatch*256*2*2；第七層為256*2*2的卷積層，有256通道的卷積核，每個卷積核尺寸為2*2，邊緣不補(bǔ)零，輸出大小為minibatch*256*1*1；最后一層卷積層的輸出經(jīng)輸入通道數(shù)為256、輸出通道數(shù)為1的全連接層得到minibatch個常數(shù)，經(jīng)Sigmoid函數(shù)激活后輸出minibatch個判定的概率，若判定概率大于0.5，則判定對應(yīng)輸入圖像為清晰圖像；否則，判定為生成圖像；

步驟2-6所述的生成器，具體如下：

生成器由三個尺度的網(wǎng)絡(luò)構(gòu)成，粗尺度網(wǎng)絡(luò)通過反卷積層與上一級尺度網(wǎng)絡(luò)連接，其中反卷積層通道數(shù)為3，卷積核為5*5、步長為1、補(bǔ)零的寬度為2；在單個尺度的網(wǎng)絡(luò)中，圖像輸入和輸出的尺寸保持不變，該尺度下的網(wǎng)絡(luò)首先是一個64通道、5*5大小的卷積核、步長為1、補(bǔ)零寬度為2的卷積層，設(shè)該尺度為k，該卷積層輸出大小為minibatch*64*wk*hk，然后是一個ReLU激活層，接下來是19個重復(fù)的殘差子網(wǎng)，其中每個殘差子網(wǎng)包括兩條分支，一條分支由兩個卷積層和第一個卷積層后的ReLU激活層組成，其中卷積層參數(shù)均設(shè)為64通道、5*5大小的卷積核、步長為1、補(bǔ)零寬度為2，另一條分支則沒有任何結(jié)構(gòu)單元，兩條分支在殘差子網(wǎng)輸出之前完成通道級聯(lián)，輸出128通道的圖像集；單個尺度網(wǎng)絡(luò)中的最后一個殘差子網(wǎng)后連接了一個卷積層和一個ReLU激活層，其中卷積層包括3通道的卷積核，每個卷積核大小為5*5、步長為1、補(bǔ)零寬度為2，設(shè)該尺度為k，輸出大小為minibatch*3*wk*hk。