[發明專利]基于生成對抗網絡的抗模糊無人駕駛車輛多目標跟蹤方法

在審

• 申請號: 202011460523.6
• 申請日: 2020-12-11
• 公開（公告）號: CN112446436A
• 公開（公告）日: 2021-03-05
• 發明（設計）人: 梁軍;馬皓月;劉創;張婳;張智源
• 申請（專利權）人: 浙江大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08;G06T5/00;G06T5/10
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 邱啟旺

1.一種基于生成對抗網絡的抗模糊無人駕駛車輛多目標跟蹤方法，其特征在于，包括以下步驟：

步驟一：使用無人駕駛車輛車載攝像設備采集路況視頻序列。

步驟二：使用模糊圖片檢測方法檢測步驟一采集的路況視頻序列中的圖像是模糊圖像還是模糊圖像，如果是清晰圖像直接進行步驟四，如果是模糊圖像進行步驟三。

步驟三：對步驟二中模糊圖像使用去模糊生成對抗方法去除模糊圖像的模糊，使模糊圖像變清晰。

步驟四：對步驟二和步驟三得到的清晰圖像使用基于單個神經網絡的目標檢測算法檢測每幀圖像中出現的目標，確定多目標跟蹤所需跟蹤的主要目標。

步驟五：針對步驟四中跟蹤的主要目標，使用重識別模型和匈牙利算法實現數據關聯。將當前檢測到的目標和歷史的目標軌跡進行關聯，得到完整的目標軌跡。

步驟六：使用卡爾曼濾波器作為跟蹤器，估計當前目標在下一幀的位置，作為目標跟蹤的先驗信息，并將預測位置和檢測器檢測位置融合作為輸出，用于平滑軌跡，實現目標跟蹤任務。

2.根據權利要求1所述的抗模糊無人駕駛車輛多目標跟蹤方法，其特征在于，所述步驟二通過以下子步驟來實現：

(2.1)灰度化及拉普拉斯算子濾波：將RGB彩色圖像轉為灰度圖像，并利用拉普拉斯算子進行濾波，實現圖像的預處理。

(2.2)方差計算：圖像模糊程度越嚴重圖像方差越低，清晰圖像方差較高，當方差大于閾值200時，即判斷圖像為非模糊圖像。

(2.3)結合上幀圖像防止誤判：若上一幀圖像是模糊的，則當當前幀圖像和上一幀圖像的方差比值大于閾值5時，即判斷圖像為非模糊圖像；若上一圖像是非模糊的，則當前幀圖像和上一幀圖像的方差比值大于閾值0.3時，即判斷圖像為非模糊圖像。其他情況均為模糊圖像。

3.根據權利要求1所述的抗模糊無人駕駛車輛目標跟蹤方法，其特征在于，所述步驟三通過以下子步驟來實現：

(3.1)構建去模糊生成對抗網絡。構建生成器網絡：基于超分辨率重建深度網絡進行網絡結構的設計，通過卷積操作模擬迭代擬合殘差的步驟，對清晰圖像進行逼近，改進后的神經網絡由2個卷積層和9個塊組成，每個塊由2個串聯的3×3卷積層、歸一化層、線性整流函數組成。構建鑒別器網絡：使用基于條件生成對抗網絡的圖像翻譯算法中區域生成對抗網絡實現鑒別器網絡的設計，區域生成對抗網絡將生成對抗網絡鑒別器換成了全卷積網絡，將輸入映射為N×N的矩陣X，X_ij的值代表每個矩陣為真樣本的概率，求平均值即為鑒別器最終輸出。

(3.2)確定去模糊生成對抗網絡損失函數，對抗損失函數L_all包括四部分，分別是條件生成對抗網絡損失函數L_cGAN、誤差平方和損失函數L₂、結構相似度損失函數L_ssim、感知損失函數L_perceptual，k_n(n＝1，2，3)是相應的超參。

L_all＝L_cGAN+(k₁)L₂+(k₂)L_ssim+(k₃)L_perceptual

條件生成對抗網絡損失函數：

其中G代表生成器，D代表鑒別器，E(*)代表分布函數的期望值，x代表模糊圖像，y代表清晰圖像，z代表噪聲，P_data(*)代表樣本的分布，使用交叉熵損失函數作為條件生成對抗網絡損失函數。

結構相似度損失函數SSIM(x，y)：

SSIM(x，y)可以看做兩個方面的乘積，圖像照明度相似度L(x，y)、圖像對比度相似度c(x，y)。

其中μ_x和σ_x代表去模糊后圖像的均值和方差，μ_y和σ_y代表原始清晰圖的均值和方差，，σ_xy為兩者協方差，C₁和C₂是用來穩定的常數。對于三通道的RGB圖，先對其每個通道的值取平均，然后再計算局部的均值和方差。相應的結構損失L_ssim為：

L_ssim＝1-SSIM(x，y)

感知損失函數L_perceptual：

C_j、W_j和H_j是網絡第j個特征圖的通道數、寬度和高度。φ_j是網絡對應第j個卷積層的輸出。G(I_B)是生成器由輸入的模糊圖得到的輸出，I_S是對應的清晰圖，I_B是對應的模糊圖。

(3.3)訓練去模糊生成對抗網絡。訓練時網絡卷積核取3×3，batch取8，生成器和鑒別器的初始學習率均為0.01，使用ADAM優化，在兩塊GTX1080Ti顯卡上進行訓練。網絡訓練流程如下：

初始化：初始化學習率ρ_G，ρ_D為0.01及損失函數權重k_n(n＝1，2，3)；

更新生成器G：從訓練集中采樣N個樣本，(x，y)＝(x₁，y₁)，...，(x_N，y_N)；

更新G參數：

多次訓練鑒別器D：更新D參數：

經過訓練后得到訓練好的生成對抗網絡模型；

(3.4)實現模糊圖像的去模糊。將模糊圖像輸入訓練好的生成對抗網絡，得到去模糊后的清晰圖像。