[發(fā)明專利]一種基于邊緣引導(dǎo)稀疏注意力機(jī)制的車牌實(shí)時(shí)檢測方法

有效

• 申請?zhí)枺?/td>: 202010204590.5
• 申請日: 2020-03-22
• 公開（公告）號: CN111444913B
• 公開（公告）日: 2023-08-22
• 發(fā)明（設(shè)計(jì)）人: 秦華標(biāo);梁靜
• 申請（專利權(quán)）人: 華南理工大學(xué)
• 主分類號: G06V20/62
• 分類號: G06V20/62;G06V30/146;G06V30/164;G06V30/18;G06V30/19;G06V10/82;G06N3/045;G06N3/0464;G06N3/084;G06N3/096
• 代理公司: 廣州粵高專利商標(biāo)代理有限公司 44102
• 代理人: 何淑珍;江裕強(qiáng)

1.一種基于邊緣引導(dǎo)稀疏注意力機(jī)制的車牌實(shí)時(shí)檢測方法，其特征在于：所述邊緣引導(dǎo)稀疏注意力機(jī)制包括邊緣引導(dǎo)組件和稀疏注意力組件，所述實(shí)時(shí)檢測方法包括：

S1、使用卷積神經(jīng)網(wǎng)絡(luò)對輸入圖像進(jìn)行處理，提取語義特征圖X；

S2、所述邊緣引導(dǎo)稀疏注意力機(jī)制捕捉車牌區(qū)域，其中，

所述邊緣引導(dǎo)組件用于增強(qiáng)目標(biāo)邊緣信息并減少噪聲干擾，具體操作如下：

S21、利用卷積神經(jīng)網(wǎng)絡(luò)提取圖像的邊緣信息，生成邊緣引導(dǎo)圖I；

S22、將所述語義特征圖X和所述邊緣引導(dǎo)圖I通過卷積神經(jīng)網(wǎng)絡(luò)獲取線性模型系數(shù)(a,b)；

S23、利用線性模型系數(shù)(a,b)和邊緣引導(dǎo)圖I構(gòu)建線性模型g_i＝a_iI_i+b_i，通過線性模型得到特征圖X1；

所述稀疏注意力組件用于減少自注意力機(jī)制計(jì)算復(fù)雜度，所述特征圖X1為所述稀疏注意力組件中輸入，所述稀疏注意力組件中的具體操作如下：

S24、為輸入特征圖X1的每個(gè)源像素找到K個(gè)最相似的目標(biāo)像素；

S25、對于每個(gè)源像素，利用與它最相似的K個(gè)目標(biāo)像素計(jì)算注意力圖；

S26、使用注意力圖聚合k個(gè)目標(biāo)像素得到相應(yīng)的輸出特征；

S3、采用級聯(lián)多任務(wù)學(xué)習(xí)輔助車牌的精準(zhǔn)檢測；

S4、使用損失掩碼方法去抑制低質(zhì)量的預(yù)測框。

2.根據(jù)權(quán)利要求1所述的一種基于邊緣引導(dǎo)稀疏注意力機(jī)制的車牌實(shí)時(shí)檢測方法，其特征在于：步驟S24中找到所述K個(gè)最相似的目標(biāo)像素的具體步驟如下：

S241、通過卷積神經(jīng)網(wǎng)絡(luò)預(yù)測具有2K通道數(shù)的偏移圖offset_(k,c′,i,j)，其中K表示K個(gè)與相應(yīng)源像素最相似的目標(biāo)像素，2表示x軸和y軸，通過特征圖X1生成基本網(wǎng)格basic_(c,i,j)，它表示每個(gè)像素的原始坐標(biāo)，基本網(wǎng)格有2個(gè)通道，分別表示x軸和y軸；

S242、把基本網(wǎng)格中每個(gè)目標(biāo)像素的原始坐標(biāo)和偏移圖中相應(yīng)的K個(gè)像素的偏移坐標(biāo)進(jìn)行求和以獲得絕對坐標(biāo)abs_offset_(k,c',i,j),公式如下：

abs_offset_(k,c′,i,j)＝offset_(k,c′,i,j)+basic_(c,i,j),

c＝0,1；c′＝2(k-1),2(k-1)+1；k＝1,2...,K

其中，c和c′都表示通道，k表示和位于第i行，第j列源像素點(diǎn)相對應(yīng)的第k個(gè)目標(biāo)像素；

S242、基于特征圖X1和偏移圖offset_(k,c′,i,j)，通過采樣為每個(gè)源像素點(diǎn)找到相應(yīng)的K個(gè)最相似的目標(biāo)像素，并且得到特征圖X2。

3.根據(jù)權(quán)利要求2所述的一種基于邊緣引導(dǎo)稀疏注意力機(jī)制的車牌實(shí)時(shí)檢測方法，其特征在于：所述計(jì)算注意力圖的具體計(jì)算公式采用點(diǎn)乘或高斯函數(shù)或嵌入高斯函數(shù)。

4.根據(jù)權(quán)利要求3所述的一種基于邊緣引導(dǎo)稀疏注意力機(jī)制的車牌實(shí)時(shí)檢測方法，其特征在于：采用點(diǎn)乘的具體計(jì)算公式如下：

其中，a_(k,i,j)表示位于第i行，第j列源像素點(diǎn)與相對應(yīng)的第k個(gè)目標(biāo)像素的注意力權(quán)重，”*”表示對應(yīng)位置相乘。

5.根據(jù)權(quán)利要求4所述的一種基于邊緣引導(dǎo)稀疏注意力機(jī)制的車牌實(shí)時(shí)檢測方法，其特征在于：得到所述輸出特征的公式如下：

其中，o_(c,i,j)表示位于第i行，第j列并且有c個(gè)通道的源像素點(diǎn)的聚合輸出特征，注意特征圖X2的處于同一位置不同通道具有相同的權(quán)重。

6.根據(jù)權(quán)利要求1所述的一種基于邊緣引導(dǎo)稀疏注意力機(jī)制的車牌實(shí)時(shí)檢測方法，其特征在于：步驟S3中包括第一級任務(wù)學(xué)習(xí)和第二級任務(wù)學(xué)習(xí)，所述第一級任務(wù)學(xué)習(xí)的任務(wù)分支分別為車牌的分類置信度預(yù)測，邊框的相對位置回歸預(yù)測，關(guān)鍵點(diǎn)分類置信度預(yù)測以及關(guān)鍵點(diǎn)相對位置回歸，其中，關(guān)鍵點(diǎn)相對位置回歸為可選項(xiàng)；第二級任務(wù)學(xué)習(xí)將第一級多任務(wù)學(xué)習(xí)得到的預(yù)測特征圖有選擇地進(jìn)行融合，對目標(biāo)檢測進(jìn)一步微調(diào)，得到精準(zhǔn)位置。