[發(fā)明專利]一種噴碼字符檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010029532.3
• 申請(qǐng)日: 2020-01-13
• 公開（公告）號(hào): CN111259899B
• 公開（公告）日: 2022-11-08
• 發(fā)明（設(shè)計(jì)）人: 尤新革;江國(guó)星;彭勤牧;陳靖
• 申請(qǐng)（專利權(quán)）人: 華中科技大學(xué)
• 主分類號(hào): G06V30/148
• 分類號(hào): G06V30/148;G06V10/26;G06V10/22;G06V30/19;G06N3/04;G06N3/08
• 代理公司: 深圳市六加知識(shí)產(chǎn)權(quán)代理有限公司 44372
• 代理人: 向彬

1.一種噴碼字符檢測(cè)方法，其特征在于，所述方法包括如下步驟：

步驟(1)采集一幅合格樣品的噴碼圖像作為基準(zhǔn)圖像；

步驟(2)在基準(zhǔn)圖像上畫框選擇待檢測(cè)的字符區(qū)域；

步驟(3)采集流水線上待檢測(cè)的噴碼樣品圖像；

步驟(4)如果當(dāng)前圖像的字符區(qū)域相對(duì)于基準(zhǔn)圖像的字符區(qū)域位置存在偏差，則采用基于特征點(diǎn)匹配的目標(biāo)跟蹤算法，跟蹤待檢測(cè)的字符區(qū)域；包括如下子步驟：

步驟(4.1)采用特征點(diǎn)檢測(cè)算法檢測(cè)基準(zhǔn)圖像的特征點(diǎn)，并使用二進(jìn)制特征描述子對(duì)特征進(jìn)行描述，得到特征點(diǎn)集合O；

步驟(4.2)采用與步驟(4.1)相同的特征點(diǎn)檢測(cè)算法與特征描述子，對(duì)當(dāng)前圖像進(jìn)行特征檢測(cè)，得到特征點(diǎn)集合P；

步驟(4.3)采用k最近鄰匹配算法對(duì)當(dāng)前圖像的特征點(diǎn)集合O與基準(zhǔn)圖像的特征點(diǎn)集合P進(jìn)行特征匹配；

步驟(4.4)對(duì)匹配結(jié)果進(jìn)行篩選，剔除誤匹配的特征點(diǎn)；

步驟(4.5)根據(jù)匹配結(jié)果，計(jì)算當(dāng)前圖像的字符區(qū)域相對(duì)于基準(zhǔn)圖像的字符區(qū)域的旋轉(zhuǎn)角度和當(dāng)前圖像字符區(qū)域的中心坐標(biāo)；具體為：

旋轉(zhuǎn)角度的計(jì)算方法為：

對(duì)于特征點(diǎn)集合K中的任意兩個(gè)特征點(diǎn)對(duì)(a_i,m_i),(a_j,m_j)，記特征點(diǎn)a_i,a_j的水平距離豎直距離其中分別代表特征點(diǎn)a_i的橫坐標(biāo)和縱坐標(biāo)，同理特征點(diǎn)m_i,m_j的水平距離豎直距離其中分別代表特征點(diǎn)m_i的橫坐標(biāo)和縱坐標(biāo)，計(jì)算集合K中每一對(duì)關(guān)鍵點(diǎn)旋轉(zhuǎn)角度的集合D_θ：取D_θ分布的中值θ作為旋轉(zhuǎn)角度：θ＝med(D_θ)；

當(dāng)前圖像字符區(qū)域中心坐標(biāo)的計(jì)算方法為：

根據(jù)旋轉(zhuǎn)角度θ生成旋轉(zhuǎn)矩陣R：計(jì)算m_i相對(duì)于中心c的相對(duì)坐標(biāo)r_i＝m_i-c，集合K中的每一對(duì)特征點(diǎn)(a_i,m_i)都對(duì)當(dāng)前圖像字符區(qū)域中心進(jìn)行預(yù)測(cè)，其預(yù)測(cè)公式為：h(a_i,m_i)＝a_i-Rr_i，得到一組預(yù)測(cè)點(diǎn)集合|V|表示集合V中的預(yù)測(cè)點(diǎn)的總數(shù)目；

使用層次聚類算法對(duì)預(yù)測(cè)點(diǎn)集合V進(jìn)行聚類，得到包含元素最多的子集V_c，計(jì)算V_c中所有點(diǎn)坐標(biāo)的均值作為字符區(qū)域中心的坐標(biāo)；

根據(jù)字符區(qū)域中心和旋轉(zhuǎn)角度，計(jì)算當(dāng)前圖像的字符區(qū)域；

步驟(5)截取步驟(4)得到的當(dāng)前圖像的字符區(qū)域，如果字符區(qū)域中包含多行文字，則將字符區(qū)域圖像輸入至語(yǔ)義分割神經(jīng)網(wǎng)絡(luò)中，將多行字符區(qū)域分割為單行；

步驟(6)校正扭曲和/或傾斜的單行文字；

步驟(7)采用改進(jìn)的卷積循環(huán)神經(jīng)網(wǎng)絡(luò)算法識(shí)別單行文字；卷積循環(huán)神經(jīng)網(wǎng)絡(luò)CRNN算法包括：CRNN算法首先使用一組卷積層CNN進(jìn)行特征提取，再將卷積特征輸入至一組雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)，提取文字序列特征，使用聯(lián)結(jié)主義時(shí)間分類算法計(jì)算損失函數(shù)，實(shí)現(xiàn)對(duì)字符序列的端到端識(shí)別；對(duì)CRNN的改進(jìn)在于：將原始CRNN網(wǎng)絡(luò)中的雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)層部分替換為兩個(gè)卷積核大小為3，卷積核數(shù)目為512的一維卷積層conv1d進(jìn)行文字序列特征提?。?/p>

步驟(8)判斷是否檢測(cè)完所有樣品，若未完成則重復(fù)步驟(3)-(8)，否則結(jié)束檢測(cè)。

2.如權(quán)利要求1所述的噴碼字符檢測(cè)方法，其特征在于，所述步驟(5)包括如下子步驟：

步驟(5.1)將字符區(qū)域圖像輸入至語(yǔ)義分割神經(jīng)網(wǎng)絡(luò)中，將圖像中的每個(gè)像素分為文字、背景、文字與背景的邊界三類，得到一幅三通道的像素概率圖，三個(gè)通道分別對(duì)應(yīng)當(dāng)前像素屬于文字、背景、邊界的概率；

步驟(5.2)對(duì)像素概率圖進(jìn)行閾值化，生成文字分割二值圖，將黑色像素所在區(qū)域作為背景，白色像素區(qū)域作為字符區(qū)域；

步驟(5.3)文字分割二值圖中可能還存在一些偽字符區(qū)域，對(duì)文字分割二值圖做連通域分析，標(biāo)記出圖中所有的連通域，去除圖中寬度、高度、面積超出閾值的連通域，輸出文本行分割結(jié)果。