[發明專利]深度學習與Hough變換結合的二維條碼精確定位方法

在審

• 申請號: 202110283304.3
• 申請日: 2021-03-16
• 公開（公告）號: CN112949338A
• 公開（公告）日: 2021-06-11
• 發明（設計）人: 李建偉;呂娜;郭宏;劉成波;伊亞聰;胡孔耀;徐延
• 申請（專利權）人: 太原科技大學
• 主分類號: G06K7/14
• 分類號: G06K7/14;G06K9/32;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種深度學習與Hough變換結合的二維條碼精確定位方法，其特征在于：

S1、獲取一定數量的二維碼樣本圖像構造用于邊緣提取的訓練數據集；

S2、構造邊緣提取網絡模型與優化，基于完全卷積神經網絡FCC和深度監督網的深度學習模型HED邊緣檢測網絡，對制作的數據集進行訓練，得出模型；

S3、使用訓練好的HED邊緣檢測模型對待測二維碼進行邊緣檢測，生成邊緣概率圖，獲取相應的邊緣圖像，實現二維碼粗定位；

S4、對所述生成的邊緣概率圖利用Hough直線檢測方法，尋找邊緣概率圖中的所有直線，后經過直線聚類得出4條邊緣線即為二維碼輪廓區域，得到精確的二維碼定位區域，進而快速進行二維碼碼片信息的獲取；

S5、最后通過RS解碼算法，完成二維碼信息的提取。

2.根據權利要求1所述一種深度學習與Hough變換結合的二維條碼精確定位方法，其特征在于：所述步驟S1的具體過程包括：

S11、利用Labelme對每個目標二維碼的邊界進行標記，得到一定數量的邊緣訓練樣本；

S12、利用數據增強算法在一定程度上擴展數據，通過一些圖像處理手段，在前景圖上添加旋轉、平移、透視變換，對復雜環境的背景圖進行了隨機的裁剪通過實驗對比生成合適寬度的邊緣線并添加該圖像到訓練集中，以此提高訓練數據集的規模。

3.根據權利要求1所述一種深度學習與Hough變換結合的二維條碼精確定位方法，其特征在于：所述步驟S2的具體過程包括：

S21、所述HED邊緣檢測模型是基于FCN與VGG的改進，在VGGNet的基礎上將每一個階段的最后一個卷積層后面(分別為conv1_2，conv2_2，conv3_3，conv4_3，conv5_3)增加一個側邊輸出層side-output層，并在側邊輸出層上進行深度監督，側面輸出層被實現為具有內核大小為1和輸出數為1的卷積層；增加一個混合權重層，用來將所有的側輸出層的預測結果連接到一起，然后通過一個訓練的權重融合函數得到最終的邊緣輸出，得到一個帶有側面輸出層的FCN網絡結構即為邊緣提取網絡模型；

S22、用準備好的用于邊緣提取的訓練數據集以最小的損失函數為目標訓練設計好的邊緣提取網絡模型；

最終HED的損失函數如下：

式中l_side表示像素級的側邊輸出代價，α_m表示每個側邊輸出的損失函數的權值，在訓練中，這一代價函數是遍歷輸入圖像的每一個像素與輸出概率圖的每一個像素；對于每一張圖像，這一損失函數表示為：

其中，β＝|Y_-|/|Y|，1-β＝|Y₊|/|Y|，|Y₊|和|Y_-|分別表示標簽中標記為非邊緣和邊緣的像素的個數；是由側邊輸出的響應值通過sigmoid函數σ(·)計算得到的，為了直接利用側輸出預測，在網絡中添加了一個加權融合層，并在訓練中學習融合權重，在融合層處的損失函數為：

式中h＝(h₁,...,h_M)，h表示各側邊輸出層的融合權重，表示預測結果與標簽之間的距離，利用交叉熵函數計算得出。

4.按照原HED訓練出來的網絡，檢測到的邊緣線有一點粗的，為了得到更細的邊緣線，通過多次試驗找到了一種優化方案，在計算損失函數時，不考慮前5層的cost，不再讓每個尺度上得到的圖像都參與cost的計算，只使用融合后得到的最終圖像來進行計算，單獨將最后的融合層的loss作為最后的loss值輸出；最終網絡根據融合代價對各卷積核內的參數以及融合權重利用梯度下降法進行迭代優化，改進的目標函數為：

(W,w,h)^*＝argmin(L_fuse(W,w,h)) (4)測試給定的圖像X，我們從側輸出層和加權融合層獲得邊緣映射預測：

通過進一步聚合這些生成的邊緣映射，可以得到最終的統一輸出：