[發明專利]一種基于多任務深度學習的物流復合碼識別方法

有效

• 申請號: 201810063311.0
• 申請日: 2018-01-23
• 公開（公告）號: CN108416412B
• 公開（公告）日: 2021-04-06
• 發明（設計）人: 盛力峰;關亮;林宏鋆;盛雷雷;王路;賈寶榮;王顯杰;聶學雯;王權
• 申請（專利權）人: 浙江瀚鏹自動化設備股份有限公司
• 主分類號: G06K19/06
• 分類號: G06K19/06;G06K17/00;G06N3/04;B07C3/18
• 代理公司: 杭州九洲專利事務所有限公司 33101
• 代理人: 翁霽明

1.一種基于多任務深度學習的物流復合碼識別方法，其特征在于：包括用于全方位獲取物流復合碼圖像的方法、便于視覺檢測定位噴碼字符的標簽、適用于噴碼字符的標簽的字符定位和切分的字符大小、字形以及字符之間的間隔、適用于視覺識別的復合碼、用于對復合碼進行檢測定位的Faster R-CNN網絡、用于復合碼圖像糾偏及字符的正倒檢測、用于深度學習和訓練識別的多任務深度卷積神經網絡、基于深度學習的噴碼字符的標簽上的字符識別的卷積神經網絡、用于識別復合碼中一維條碼、用于識別復合碼中二維條碼、用于根據識別的復合碼信息控制分揀動作的分揀控制；

其主要流程如下：流水線上待分揀的貨物移動到流水線的某一工位時，系統自動觸發多個相機從各個方位拍攝貨物圖像；接著，基于Faster R-CNN貨品復合碼標簽檢測定位得到貨物圖像上的復合碼標簽圖像；然后，對復合標簽的圖像最小面積矩形進行仿射變換；進一步，對仿射變換后的復合標簽的圖像進行分割處理，分割出噴碼字符的標簽圖像以及一維條碼圖像或者二維條碼圖像；然后，對得到的噴碼字符的標簽圖像用基于Faster R-CNN進行字符識別，得到噴碼字符的標簽圖像中的字符序列；另一方面，對得到的一維條碼圖像或者二維條碼圖像進行識別，得到一維條碼圖像或者二維條碼圖像所表達的字符序列；最后，組合噴碼字符的標簽圖像中識別出來的字符序列以及一維條碼圖像或者二維條碼圖像所識別出來的字符序列，并用該復合碼所表達的信息進行貨品的物流及供應鏈管理，所述的用于全方位獲取物流復合碼圖像的方法，在分揀流水線的識別工位的上方、前后左右分別安置了5個相機，從各個方向捕捉到貨物上的物流編碼標簽的圖像；此外，為了確保準確無誤地讀取到貨物上粘貼的物流編碼標簽，這里規定至少在貨物的兩個面上粘貼物流編碼標簽，所述的適用于視覺識別的復合碼，將噴碼字符的標簽圖像與一維碼圖像或者二維碼圖像進行組合構成復合碼圖像，在復合碼圖像中上部為噴碼字符的標簽圖像、下部為一維碼圖像或者二維碼圖像，所述的用于對復合碼進行檢測定位的Faster R-CNN網絡，FasterR-CNN作為多任務卷積神經網絡的基礎網；網絡最前面的是3×3卷積網絡，稱為conv1，后面緊接4個堆疊卷積模塊命名為conv2到conv5，conv1到conv4作為共享網絡；其后是RPN，即區域建議網絡，RPN網絡將一個任意尺度圖像作為輸入，輸出矩形目標建議框的集合，每個框包含4個位置坐標變量和一個得分；為了生成區域建議框，在最后一個共享的卷積層輸出的卷積特征映射上滑動小網絡，這個網絡全連接到輸入卷積特征映射的n×n的空間窗口上；每個滑動窗口映射到一個低維向量上，每個特征映射的一個滑動窗口對應一個數值；這個向量輸出給兩個同級的全連接的層；所述的矩形目標建議框的目標指的是噴碼字符的標簽；

對每個建議框是目標或非目標的估計概率，是用二分類的softmax層實現的分類層；k個建議框被相應的k個稱為anchor的建議框參數化；

每個anchor以當前滑動窗口中心為中心，并對應一種尺度和長寬比，使用3種尺度和3種長寬比，這樣在每一個滑動位置就有k＝9個anchor；

為了訓練RPN網絡，給每個anchor分配一個二進制的標簽，以此來標注該anchor是不是目標；然后分配正標簽給這兩類anchor：(I)與某個真正目標包圍盒，即Ground Truth，GT有最高的IoU，即Interse-ction-over-Union，交集并集之比，重疊的anchor；(II)與任意GT包圍盒有大于0.7的IoU交疊的anchor；注意到一個GT包圍盒可能給多個anchor分配正標簽；分配負標簽給與所有GT包圍盒的IoU比率都低于0.3的anchor；非正非負的anchor對訓練目標沒有任何作用，則棄用；

對一個圖像的損失函數定義為：

這里，i是一個anchor的索引，p_i是anchor是第i目標的預測概率，如果anchor為正，GT標簽就是1，如果anchor為負，就是0；t_i是一個向量，表示預測的包圍盒的4個參數化坐標，是與正anchor對應的GT包圍盒的坐標向量；λ是一個平衡權重，這里λ＝10，N_cls是cls項的歸一化值為mini-batch的大小，這里N_cls＝256，N_reg是reg項的歸一化值為anchor位置的數量，N_reg＝2400，分類損失函數L_cls是兩個類別，即復合碼目標背景的對數損失：

對于回歸損失函數L_reg，用以下函數定義：

式中，L_reg為回歸損失函數，R是魯棒的損失函數，用公式(4)計算smooth L₁；

式中，smooth_L1為smooth L₁損失函數，x為變量。