[發明專利]一種基于深度學習的高速公路團霧自適應檢測方法

有效

• 申請號: 202110409248.3
• 申請日: 2021-04-16
• 公開（公告）號: CN113158874B
• 公開（公告）日: 2022-07-08
• 發明（設計）人: 李曉春;吳狄娟;秦勇;朱錦校
• 申請（專利權）人: 杭州像素元科技有限公司
• 主分類號: G06V20/56
• 分類號: G06V20/56;G06V10/774;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08;G06N20/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于傅里葉變換自適應深度學習算法的高速公路團霧檢測方法，首先建立高速團霧數據集，同時建立卷積神經網絡模型，結合數據集和模型進行訓練，得到團霧檢測訓練權重；然后讀入待測試視頻，包括3個方向：將其輸入訓練好的模型進行預測，FFT變換及逆變換，求取每幀圖像的均值和方差，接著使用方向三的結果對方向二的結果進行歸一化，最終對歸一化的結果和方向一的預測結果求取均值，根據當前圖像可視區域內特點，自動生成自適應的閾值進行對比，得出圖像是否有團霧的結論。本發明的優點在于結合傳統機器學習算法和深度神經網絡模型，對測試圖像采取卷積特征提取和頻域特征計算的方式，進而完成對團霧的穩定且準確的檢測。

技術領域

本發明涉及圖像識別與機器視覺技術領域，具體來說，涉及一種基于深度學習的高速公路團霧自適應檢測方法。

背景技術

目前團霧檢測的主要方法有兩大類：一是基于能見度計算的檢測方法，二是提取團霧特征，并根據提取到的團霧特征進行檢測。提取團霧特征方法又可以分為深度學習模型法和機器學習人工提取特征法。深度學習方法雖然檢測效果較好，但是消耗資源較大，不適合進行工業落地；相比之下，傳統機器學習方法需要調整大量閾值，才可以得到較好的效果。

發明內容

為了解決上述問題，本發明提出了一種基于傅里葉變換(Fast FourierTransform，FFT)自適應深度學習算法的高速公路團霧檢測方法。由于團霧在圖像域的特征無法滿足團霧檢測的要求，本發明的方法是通過使用結合了深度學習模型及機器學習在頻率域的特征來實現團霧圖像的準確檢測，一方面，通過建立團霧數據集和構建的深度學習網絡訓練模型，并使用訓練好的模型進行預測，進而得到圖像可能為團霧的概率，另一方面對圖像進行FFT變換，并計算圖像為團霧的可能性，最終對深度學習模型的預測結果和FFT變換處理后的結果求均值，并與根據當前圖像可視區域內特點，自動生成自適應的閾值進行對比，得出圖像是否有團霧的結論。

為實現上述技術目的，本發明的技術方案是這樣實現的：

一種基于深度學習的高速公路團霧自適應檢測方法，具體包括以下步驟：

1)建立高速團霧數據集：首先收集多個一定分鐘時長的不同區域的高速團霧和晴朗的視頻，對收集到的團霧和晴朗天氣的圖像進行逐一標注，然后設定時間間隔，采取抽幀的方式對視頻圖像進行標注，最后將標注好的圖像打亂，按照設定比例劃分訓練集和測試集；

2)建立卷積神經網絡模型：使用以PyTorch框架為基礎的YOLOv3模型進行訓練，其主干網絡為DarkNet53，YOLOv3使用多個卷積層和殘差層，可以實現對輸入的團霧圖像進行多層特征提取，充分的特征提取可以提高模型的分類性能；

3)模型訓練及訓練權重的保存：視頻中圖像的尺寸較大，首先對圖像進行分塊，然后固定到輸入尺寸并輸入模型，輸入的圖像通過進行多次下采樣進行特征提取，最后生成是否有霧的判斷模型，訓練時使用在ImageNet上預訓練的權重進行續訓練，通過設置學習率、batchsize、迭代次數等參數實現模型訓練，最終將訓練好的權重文件保存下來；

4)加載訓練權重和待檢測視頻進行團霧預測：讀取視頻時，將預測視頻中的圖像進行抽幀讀取，預測結果以概率的形式輸出；

5)FFT變換：讀取視頻，對輸入的圖像進行灰度化處理，將視頻中的RGB彩色幀轉為單通道的灰度圖像，灰度化時采用平均R、G、B值的方式，在得到圖像的寬w、高h后，進行兩層循環，得到圖像上每個坐標點的R、G、B通道值，然后求平均再返回到對應的坐標點上；

然后將灰度圖像進行FFT變換，該步是將時域空間的圖像轉換到頻域空間，其本質是圖像的灰度分布函數變換為圖像的頻率分布函數，其變換公式為：

其中，j是虛數單位，u和v是頻域中頻率變量，x和y是空間域中圖像的變量，F(u，v)的值表示團霧的能量大小，f(x，y)表示時域空間的連續值，M和N為圖像的寬和高；