[發明專利]一種基于深度學習的交通標志識別方法

有效

• 申請號: 202010105769.5
• 申請日: 2020-02-19
• 公開（公告）號: CN111325152B
• 公開（公告）日: 2023-09-26
• 發明（設計）人: 劉哲;賀國平;楊佳現;陳子豪;劉宇豪
• 申請（專利權）人: 北京工業大學
• 主分類號: G06V20/58
• 分類號: G06V20/58;G06V10/764;G06V10/82;G06N3/0464;G06N3/047;G06N3/084
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 劉萍

1.一種基于深度學習的交通標志識別方法，其特征在于，包括以下步驟：

步驟1、獲取交通標志數據集，并將該數據集分為訓練集和測試集；然后對交通標志數據集中數據進行預處理，得到經過預處理后的交通標志數據集；

步驟1具體包含以下步驟：

步驟1.1輸入一幅大小為W*H的原始交通標志圖像，并設定其尺寸歸一化后的目標尺寸為32*32，W為原始圖像寬度，H為原始圖像的高度，32為目標圖像的高度；

步驟1.2將尺寸歸一化后的交通標志圖片進行灰度化處理，由彩色圖片轉換為灰度圖片；

步驟1.3通過將圖像隨機旋轉，縮放，移動，剪切或翻轉操作，創建一些新的數據來平衡各類交通標志圖像的分布；并且采用Random?erasing方法，解決交通標志識別過程中遇到物體遮擋問題；最后通過直方圖均衡算法調高圖像整體對比度，使交通標志圖像更加清晰；

步驟2、對卷積神經網絡模型的結構進行改進，通過Keras和Tensorflow構建改進后的交通標志識別模型，將訓練集樣本輸入TSR_ConvNet模型，采用mini-batch的反向傳播方法進行訓練；

步驟2具體包含以下步驟：

步驟2.1將進行過預處理的訓練數據集輸入到12層的TSR_ConvNet模型，進行向前傳播；即圖片特征從輸入層向前傳播，經過5個卷積層，3個池化層以及2個全連接層，通過輸出層得到網絡的輸出結果；對于l層i單元和l-1層k個單元，其過程如下:

其中w，b是l層的權重和偏差，為l-1層的輸入，為第l層的輸出；

步驟2.2根據負對數似然函數計算預測輸出值與實際值之間的誤差，通過鏈式求導法計算各層網絡節點的偏導數，然后采用隨機梯度下降算法更新權重參數，進行反向傳播，直至完成一次迭代；權重更新公式為：

其中，W₂，b₂為第l層更新后的權重和偏移量；W₁，b₁為更新前的權重和偏移量；η為學習率，為第l層權重的梯度，為第l層偏移量的梯度；

步驟2.3重復進行向前傳播和反向傳播階段，直到達到設定的迭代次數10次后或者當loss在3次迭代穩定時調用回調函數，訓練終止，此時得到訓練好的模型；

步驟3、將訓練好的卷積神經網絡模型導出保存在本地；通過加載訓練好的模型對新的交通標志圖像進行預測，得到預測結果；

所述步驟2具體為：

以LeNet-5網絡為基礎，通過優化CNN結構，調整網絡參數，構造了一個深度為12的TSR_ConvNet結構；其中卷積神經網絡結構包括1個輸入層、1個輸出層、2個全連接層、5個卷積層、3個采樣層；其中，

第一層為輸入層：輸入圖像樣本的像素值大小為32×32；

第二層為卷積層C1：有32個大小為32×32的特征圖，卷積核尺寸為5×5，步長為1像素；

第三層為池化層S2：有32個大小為16×16的特征圖，卷積核尺寸為2×2；

第四、五層分別為卷積層C3、C4：均有64個大小為16×16的特征圖，卷積核尺寸為3×3；

第六層為池化層S5：64個大小為8×8的特征圖，卷積核尺寸為2×2；

第七、八層分別為卷積層C6、C7：均有128個大小為8×8的特征圖，卷積核尺寸為3×3；

第九層為池化層S8：有128個大小為4×4的特征圖，卷積核尺寸為2×2；

第十層為全連接層F9：神經元個數為512個；

第十一層為全連接層F10：神經元個數為258個；

第十二層為輸出層：輸出層的神經元個數為43個，采用softmax函數，分別用于識別43類交通標志；

池化層的池化方式采用最大池化方式；卷積層采用ReLU函數的作為激活函數，ReLU函數定義為：f(x)＝max(0,x)；0.001作為初始學習率，通過Adam優化器設置動態學習率，使學習率隨著迭代次數增加逐漸變小，結合梯度的反向傳播算法對該卷積神經網絡模型中的參數進行更新；

損失函數為負對數似然函數；成本函數定義為當前批次的損失函數的平均值；卷積神經網絡訓練的過程是通過梯度下降法使代價函數最小化；負對數似然函數由方程組(5)描述：

L(r,y)＝-[ylnr+(1-y)ln(1-r)]?(5)

其中r是通過卷積神經網絡向前傳播獲得的每個類別的計算概率，y是每個類別的真實概率,L(r,y)為負對數似然函數的輸出值；

成本函數由方程式(6)(7)描述：

其中w，b是輸出全連接層的權重和偏差，m是迭代次數，r是通過卷積神經網絡向前傳播獲得的每個類別的計算概率，y是每個類別的真實概率，J(w,b)為當前批次通過損失函數計算的損失值，j(w,b)為當前批次損失函數計算的損失值的平均值；

為提高模型的泛化能力，解決模型過擬合，采用方法如下：1、在改進模型中的池化層后面增加Dropout層，并設置Dropout率為0.2，在全連接層的每層之間添加Dropout層，并設置Dropout率為0.5；2、在卷積操作形成的特征層添加歸一化函數即BatchNormalization層；3、在全連接層的softmax分類層采用Label-smoothing策略；4、當算法在訓練過程中loss穩定時算法調用回調函數提前停止訓練；

其中歸一化算法的具體步驟如下：

批處理輸入交通標志圖像數據集：β＝{x_i…m}，輸出：規范后的網絡{y_i＝BN_γ,β(x_i)}；計算給定數據集的批處理均值和方差：

其中x_i為輸入的交通標志圖像，m為當前批次的大小，μ_β為均值，為方差；

規范化

其中，ε是避免除數為0時所加的正值，為數據集中每個數據進行歸一化后的值，x_i為輸出的數據集值，μ_β為均值，為方差；

尺度變化和偏移，然后返回學習到的參數γ和β；

其中，γ是尺度因子；β是平移因子，y_i為進行規范化后的輸出值；

在全連接層中加入Label-smoothing?regularization策略；LSR正則化方法是在標簽m中加入噪聲，實現對模型約束，降低模型過擬合程度；將損失的目標值從1降到0.9以及從0升到0.1；將真實的概率改造為：

其中，ε是一個常數為0～0.1，K是類別的數目，m是圖片的真正的標簽，i代表第i個類別，q_i是圖片為第i類的概率。

2.如權利要求1所述的方法，其特征在于，所述步驟3具體為：

將訓練好的卷積神經網絡模型導出保存在本地；選取測試集中一張交通標志圖片，輸入到訓練好的卷積神經網絡模型中，對該交通標志圖像進行預測，輸出該標志的具體類別。