[發明專利]一種基于深度學習的能見度估計方法

在審

• 申請號: 202011229245.3
• 申請日: 2020-11-06
• 公開（公告）號: CN112395964A
• 公開（公告）日: 2021-02-23
• 發明（設計）人: 張曉峰;王梅;陳哲;歐垚君;丁紅;葉竹文;魏浩坤;皇甫嘉琪;許健
• 申請（專利權）人: 南通大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/08;G06N3/04
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 王毅

1.一種基于深度學習的能見度估計方法，其特征在于，包括以下步驟：

步驟一：選用3D ResNet18卷積神經網絡；它由1個卷積層和4個基本塊組成，具體結構如下表所示：

從表1中可以看出，每個基本塊包含兩組卷積，卷積核大小均為3×3×3，第一個塊的卷積核數為64，即代表64個通道數，后面各塊卷積核數依次翻倍，最后一個塊的卷積核數達到512，模型最后是一個平均池化層，模型輸入的圖片尺寸為224×224，最后一層卷積層輸出7×7的特征圖；

步驟二：選用多層感知器進行融合，多層感知器是單個感知器的擴展，多層感知器包含多個層級，除了輸入輸出層，它中間可以有多個隱層，左邊為輸入層，中間為隱層，右邊為輸出層，每一層由不同個數的神經元組成，輸入層與隱層存在函數關系：

Z₁＝W₁x+b₁

A₁＝relu(Z₁)

其中，x為輸入特征向量，W₁為輸入層到隱層權重系數，b₁為偏置，所得Z₁為輸入層線性組合，A₁為Z₁通過激活函數Relu的值，Relu函數定義如下：

relu:a＝max(0，Z)

同時，A₁也是隱層與輸出層間函數關系的輸入值；

同理，隱層與輸出層間存在函數關系：

Z₂＝W₂A₁+b₂

A₂＝relu(Z₂)

Y＝A₂

W₂為隱層到輸出層權重系數，b₂為偏置，所得Z₂為隱層線性組合，A₂為Z₂通過激活函數relu的值，Y即為最終輸出；

步驟三：將上述3D ResNet18卷積神經網絡和多層感知器(MLP)模型進行融合，3DResNet18卷積神經網絡用于提取視頻中的時間和空間特征，再將提取的時空特征作為多層感知器(MLP)模型的輸入，多層感知器(MLP)模型根據輸入特征估計當前的能見度；

模型輸入為視頻中的多幀圖像，輸出為用于分類的一維向量，中間包括3D ResNet18卷積神經網絡和多層感知器(MLP)網絡，在經過3D ResNet18卷積神經網絡的4個基礎塊提取視頻的時空信息特征后，將提取的特征轉化為一維特征向量，即卷積神經網絡的輸出，然后將此特征向量作為多層感知器(MLP)的輸入，經隱層轉化，最終實現分類；

模型輸入的數據格式為16幀224×224圖片，使用多種數據增強方式進行數據擴充，圖像左右翻轉，隨機裁剪實驗發現，當模型的學習率設置為0.001，batch_size設置為2，并使用Adam優化算法進行模型的迭代優化時；

Adam算法在梯度下降中的優化過程具體內容如下：

(1)更新steps；

(2)計算原目標函數f(θ)對參數θ的梯度；

(3)計算梯度的一階矩(first moment)，即過往梯度與當前梯度的平均，類似平滑操作，如m_t；

(4)計算梯度的二階距(second moment)，即過往梯度平方與當前梯度平方的平均,如v_t；

(5)對一階矩m_t進行校正，因為m_t初始值為0,所以它會向0偏置，這樣處理后會減少這種偏置影響，具體計算公式為：其中指的是β₁的t次方；

(6)對二階矩v_t進行校正，因為v_t初始值為0，所以它會向0偏置,這樣處理后會減少這種偏置影響，具體計算公式為:其中指的是β₂的t次方；

(7)更新參數θ_t,注意此時可將看成更新參數θ_t的學習率,看成更新參數θ_t的梯度；

其中，主要參數如下表所示：

模型學習的過程就是模型的權重不斷更新的過程，直到損失函數值趨于穩定，所用損失函數為交叉熵損失函數

通過模型的輸出和觀測到的實際能見度值計算損失函數，再通過反向傳播算法更新模型的權重，反向傳播算法如式所示：

其中，

即

所以，

o₁₁＝z₁₁w₁₁+z₁₂w₂₁+z₁₃w₃₁+b₁

o₁₂＝z₂₁w₁₁+z₂₂w₂₁+z₂₃w₃₁+b₁

o₂₁＝z₁₁w₁₂+z₁₂w₂₂+z₁₃w₃₂+b₂

o₂₂＝z₂₁w₁₂+z₂₂w₂₂+z₂₃w₃₂+b₂

步驟四，在測試集上進行了模型的精度評估，將其他模型與此模型進行對比，從精度和時間兩方面進行對比。