[發明專利]一種基于深度學習的高速公路團霧自適應檢測方法

有效

• 申請號: 202110409248.3
• 申請日: 2021-04-16
• 公開（公告）號: CN113158874B
• 公開（公告）日: 2022-07-08
• 發明（設計）人: 李曉春;吳狄娟;秦勇;朱錦校
• 申請（專利權）人: 杭州像素元科技有限公司
• 主分類號: G06V20/56
• 分類號: G06V20/56;G06V10/774;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08;G06N20/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于深度學習的高速公路團霧自適應檢測方法，其特征在于，所述方法包括以下步驟：

1)建立高速團霧數據集：收集多個一定分鐘時長的不同區域的高速團霧和晴朗的視頻，對收集到的團霧和晴朗天氣的圖像進行逐一標注，設定時間間隔，采取抽幀的方式對視頻圖像進行標注，將標注好的圖像打亂，按照設定比例劃分訓練集和測試集；

2)建立卷積神經網絡模型：使用以PyTorch框架為基礎的YOLOv3模型進行訓練，其主干網絡為DarkNet53；

3)模型訓練及訓練權重的保存：對圖像進行分塊，固定到輸入尺寸并輸入模型，輸入的圖像通過進行多次下采樣進行特征提取，最后生成是否有霧的判斷模型，訓練時使用在ImageNet上預訓練的權重進行續訓練，通過設置學習率、batchsize和迭代次數實現模型訓練，最終將訓練好的權重文件保存下來；

4)加載訓練權重和待檢測視頻進行團霧預測：讀取視頻時，將預測視頻中的圖像進行抽幀讀取，預測結果以概率的形式輸出；

5)FFT變換：讀取視頻，對輸入的圖像進行灰度化處理，將視頻中的RGB彩色幀轉為單通道的灰度圖像，灰度化時采用平均R、G、B值的方式，在得到圖像的寬w、高h后，進行兩層循環，得到圖像上每個坐標點的R、G、B通道值，然后求平均再返回到對應的坐標點上，將灰度圖像進行FFT變換，該步是將時域空間的圖像轉換到頻域空間，其本質是圖像的灰度分布函數變換為圖像的頻率分布函數，其變換公式為：

其中，j是虛數單位，u和v是頻域中頻率變量，x和y是空間域中圖像的變量，F(u，v)的值表示團霧的能量大小，f(x，y)表示時域空間的連續值，M和N為圖像的寬和高；

6)FFT逆變換：FFT逆變換是將圖像從頻率域轉換回到空間域，即將圖像的頻率分布函數變回為灰度分布函數，變換之前需要零頻率分量中心化并置零，可以將步驟5)得到的頻域圖中零頻率分量移至中心，零頻率分量F(0，0)可以表示為：

FFT逆變換公式可以表示為：

式(6)中，j是虛數單位，u和v是頻域中頻率變量，x和y是空間域中圖像的變量，最終計算FFT逆變換后圖像量值的平均值Ml；

7)將預測視頻中的圖像抽幀讀取，抽取的幀與步驟4)相同：讀取到所取幀圖像后首先進行分塊處理，然后計算每一塊的均值a_i和方差c_i，最后計算整張圖像的均值之和Ms，方差之和Ds，每幀圖像的均值之和可以表示為：

其中，X為該步驟中的分塊的塊數，每幀圖像的方差之和可以表示為：

8)使用步驟7)得到的均值之和Ms與方差之和Ds，對步驟6)得到的FFT逆變換后圖像量值的平均值Ml進行歸一化，得到歸一化的結果Mg，其中歸一化的公式為：

將Mg與步驟4)中深度學習模型得到的團霧概率Pd值求均值Md，均值Md計算公式為：

得到對團霧的計算結果后，與設定的閾值T進行比較，最終得出是否有團霧的結論，由于天空和車道內的團霧會有所不同，因此T的設定是由步驟7)中每一塊的均值決定的，首先將X塊的均值按遞增的順序進行排序，然后對前X/2塊與后X/2塊的均值求和Md，再求比值，對其方差也做相同的處理，算得其比值，將均值之比與方差之比的乘積作為閾值T，可以得到較好的團霧檢測結果，其前X/2塊的均值之和Mf為：

其中，m∈{1，2，...，X/2}，后X/2塊的均值之和Mh為：

其中，n∈{X/2+1，X/2+2，...，X}，前X/2塊的方差之和為：

其中，x∈{1，2，...，X/2}，后X/2塊的方差之和為：

其中，y∈{X/2+1，X/2+2，...，X}，最終T值的取值為：