[發明專利]一種基于深度學習的能見度估計方法

在審

• 申請號: 202011229245.3
• 申請日: 2020-11-06
• 公開（公告）號: CN112395964A
• 公開（公告）日: 2021-02-23
• 發明（設計）人: 張曉峰;王梅;陳哲;歐垚君;丁紅;葉竹文;魏浩坤;皇甫嘉琪;許健
• 申請（專利權）人: 南通大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/08;G06N3/04
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 王毅

本發明提供了一種基于深度學習的能見度估計方法，包括以下步驟：步驟一：選用3D ResNet18卷積神經網絡；步驟二：選用多層感知器進行融合；步驟三：將上述3D ResNet18卷積神經網絡和多層感知器(MLP)模型進行融合和步驟四：在測試集上進行了模型的精度評估。本發明的有益效果為：本發明主要是將3D ResNet18卷積神經網絡與多層感知器(MLP)結合起來進行基于深度學習的能見度估計，對視頻數據進行特征向量提取，對提取的特征向量進行分類，實現分類估計，相比于傳統方法中只選取少量視頻、截取圖像中的某些固有特征的局限性，它充分利用視頻的連續信息，并添加多層感知器進行分類估計，提高了估計精度。

技術領域

本發明涉及計算機圖像處理，結合多層感知器(MLP)與3D卷積神經網絡技術領域，尤其涉及一種基于深度學習的能見度估計方法。

背景技術

視頻能見度檢測方法是將大氣光學分析與圖像處理及人工智能技術結合，通過對視頻圖像的分析處理，建立視頻圖像與真實場景之間的關系，再根據圖像特征的變化，間接計算出能見度數值。但現有的基于視頻圖像的能見度檢測方法，由于是間接計算，很難準確地估算能見度。特別地，這些方法中大多數只選取少量視頻、截取圖像中的某些固有特征，基于Koschmieder定律進行估計，并沒有充分利用視頻的連續信息，所以估計的精度不高，有較大的改進空間。

深度學習是一類模式分析方法的統稱，是用于建立、模擬人腦進行分析學習的神經網絡并模仿人腦機制來解釋數據的一種機器學習技術。深度學習通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發現數據的分布式特征向量。

卷積神經網絡是一種常用于處理圖像數據的深度學習模型，ResNet是其中一種，按卷積層數，ResNet卷積神經網絡常分為5種形式：ResNet18、ResNet34、ResNet50、ResNet101、 ResNet152，其中，數字代表該網絡的卷積層數。一般來說，卷積層數越多，模型的精度會相應提高，但由于計算量提高，模型推理速度一般會有所下降。

傳統的2D ResNet18卷積神經網絡只能提取少量視頻、截取單幀圖像中的某些固有特征，無法對長時間視頻中包含的連續信息進行建模。因此，為充分利用視頻的連續信息，提高估計精度。

另外，單個感知器對圖像分類效果不是特別顯著，并且它只能學習線性可分函數，無法解決非線性問題。另一方面，僅利用卷積神經網絡或者多層感知器對數據的處理不夠充分，得到的結果精度也不高。

發明內容

本發明的目的在于提供一種基于深度學習的能見度估計方法，該方法能夠對長時間視頻中包含的連續信息進行建模，充分利用視頻的連續信息，改進估計精度，選用3DResNet18 卷積神經網絡對視頻數據進行特征向量提取，并添加多層感知器對提取的特征向量進行分類，實現分類估計。

本發明的思想為：本發明是選用3D ResNet18卷積神經網絡3D卷積神經網絡和普通的2D卷積神經網絡的區別如圖1所示，上半部分是2D卷積的過程，下半部分是3D卷積的過程，可以看出，2D卷積的卷積核是一個k*k的平面，而3D卷積的卷積核是d*k*k 的一個長方體，比2D卷積核增加了一個維度，通過增加的一個維度，3D卷積核不但能提取到圖像的空間信息，還可以提取到視頻中的連續信息，解決了單個感知器對圖像分類效果不是特別顯著，并且它只能學習線性可分函數，無法解決非線性問題，以及僅利用卷積神經網絡或者多層感知器對數據的處理不夠充分，得到的結果精度也不高的問題。

本發明是通過如下措施實現的：一種基于深度學習的能見度估計方法，包括以下步驟：

步驟一：為充分利用視頻的連續信息，提高估計精度，我們選用3D ResNet18卷積神經網絡；它由1個卷積層和4個基本塊組成，具體結構如下表所示：

表1 3D ResNet18卷積神經網絡