[發明專利]智能汽車交通標志識別的四元數深度神經網絡模型方法

有效

• 申請號: 201710249003.2
• 申請日: 2017-04-17
• 公開（公告）號: CN107239730B
• 公開（公告）日: 2020-09-15
• 發明（設計）人: 臧笛;鮑毛毛;程久軍;張冬冬;張軍旗
• 申請（專利權）人: 同濟大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/62;G06N3/04
• 代理公司: 上海科律專利代理事務所(特殊普通合伙) 31290
• 代理人: 葉鳳

1.一種智能汽車交通標志識別的四元數深度神經網絡模型方法，其特征在于，具體方法包括如下步驟：

步驟1.基于四元數視覺注意模型的交通標志感興趣區域提取；

首先對給定的視頻圖像幀進行預處理，然后采用四元數視覺注意模型構建前景目標顯著圖，最后根據顯著圖進行閾值分割提取感興趣區域；

步驟2.基于四元數卷積神經網絡的交通標志檢測；

根據提出的四元數卷積神經網絡，從感興趣區域中檢測出交通標志，在時間域上對檢測結果進行匹配，構建包含當前幀及其前后幀的交通標志圖像組；

步驟3.基于顏色時間域聯合學習的深度神經網絡的交通標志識別；

根據提出的深度神經網絡對顏色及時間維度進行聯合挖掘學習，完成對交通標志的識別分類；

所述步驟2，過程如下：

經過步驟1提取的感興趣區域包含交通標志的正樣本和負樣本，篩選出正樣本，每個區域都是一個彩色圖像，由四元數來表示彩色圖像為f＝Ri+Gj+Bk，其中RGB代表彩色圖中紅色、綠色和藍色通道；i,j,k分別代表四元數的3個虛軸；

所述四元數卷積神經網絡，包含了多個四元數卷積層和下采樣層，還包括用于分類的全連接層和輸出標簽層；

每個四元數卷積層，其四元數神經元將每個點擴展為四元數，能通過四元數乘法運算實現對編碼在不同軸上的信息進行融合學習，從而獲得更好的特征學習性能；給定一個實部p_r為0的純虛輸入四元數數據u＝p_ii+p_jj+p_kk，設其對應的權值為w＝q_r+q_ii+q_jj+q_kk，w∈K⁴，K⁴表示四元數集合，則對應此四元數神經元的輸出y為

y＝f(s) (3)

其中s表示為：

輸出信號s是神經元的輸入u通過權值w進行旋轉操作，用權值w的模實現膨脹操作，公式(4)表明輸入的三維信息u通過四元數的乘法規則，在不同的虛軸上進行了充分的融合，其中每個輸出虛軸都包含了權值w和輸入u所有實、虛軸的代數運算；平移算子的表達通過加減一個偏置b實現；輸出神經元y采用Sigmoid函數：

所述下采樣層，下采樣過程是將四元數卷積層后得到的四元數特征圖，分別提取三個虛軸矩陣，即得到三個標量矩陣，然后對各個標量矩陣做下采樣操作；

所述全連接層，將最末下采樣層得到的特征矩陣變換為1*ma的特征向量，a為特征矩陣純虛四元數像素點的個數，m為四元數特征圖的數量；

所述輸出標簽層，四元數卷積神經網絡的權值采用四元數BP反向傳播算法來訓練確定，輸出在感興趣區域中檢測出的正確的交通標志。

2.如權利要求1所述的智能汽車交通標志識別的四元數深度神經網絡模型方法，其特征在于，所述步驟1，過程如下：

對于給定的視頻當前幀彩色圖像，首先計算其亮度信息圖R、G、B分別代表紅、綠、藍顏色通道，然后采用Gabor濾波器計算其方向特征圖O,通過時間維度的幀差生成時間特征圖T，接著采用四元數視覺注意模型將此三個維度信息分別編碼到四元數的3個虛軸i,j和k，即

V＝Ii+Oj+Tk (1)

對該模型求模獲得表征前景目標的顯著圖

對該顯著圖進行閾值分割則可獲得相應模板，據此可從原始圖像中提取對應的感興趣區域。

3.如權利要求1所述的智能汽車交通標志識別的四元數深度神經網絡模型方法，其特征在于，所述步驟3，具體過程如下：

首先分別將顏色通道及時間維度的3幀灰度交通標志圖編碼到2個四元數的對應虛軸上，然后采用2個四元數卷積神經網絡分別進行特征學習提取，獲得的特征圖表征了原始輸入的顏色、輪廓及運動特征信息，將所有軸上的特征圖融合在一起經過一個優化算法進行特征圖篩選以降低參數數量，經過篩選的特征圖再輸入到標量卷積神經網絡進行最終的交通標志分類識別；

對于每個輸入圖像S_h，表示輸入圖像集合，設其第n個特征圖的二值化圖像為表示特征圖二值化后的圖像集合，采用突出分數計算在前景圖中每個特征圖二值化圖像針對輸入圖像S_h中交通標志特征的能量值，這個能量表示這個特征圖的重要程度；

公式(6)中，分子是特征圖的二值化圖像和輸入圖像S_h矩陣點相乘得到矩陣的1范數，分母是二值化圖像矩陣的1范數，商為突出分數；對于四元數卷積神經網絡，輸入是編碼在四元數三個虛軸上的三張圖像，因此每一張特征圖對應三個突出分數，采用融合顏色及時間維度信息的深度神經網絡模型總共產生6個突出分數；將6個突出分數的算術平均值作為此特征圖的最終突出分數，用表示，計算公式如下：

其中S_hz表示第h組輸入的第z圖像，1≤z≤6，第h組的前三個圖像為t時刻彩色圖像的RGB三個通道分量，后面三個是t-1、t、t+1時刻的灰度圖，符號“·”定義為元素范圍的乘法；基于此構建一個初始值為0的直方圖H,給定一個閾值τ_β，如果特征圖的則相應的H(n)值加1，直方圖H(n)的計算方法如下：

將直方圖H(n)按降序排列，得到前d個最大值對應的序號，其對應的特征圖則為篩選結果。