[發明專利]一種基于多尺度對抗學習的交通圖像去模糊方法及裝置

在審

• 申請號: 202110426042.1
• 申請日: 2021-04-20
• 公開（公告）號: CN113034404A
• 公開（公告）日: 2021-06-25
• 發明（設計）人: 鄒月嫻;柳軍領
• 申請（專利權）人: 北京大學深圳研究生院
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 嚴小艷

1.一種基于多尺度對抗學習的交通圖像去模糊方法，包括以下步驟：

步驟1：采用運動模糊生成方法，生成清晰-模糊交通圖像對；

步驟2：構建基于對抗學習的交通圖像去模糊網絡模型，對恢復得到的圖像進行對抗學習，使其更接近真實清晰圖像；

步驟3：構建多個結構相同尺度從小到大的圖像去模糊網絡模型，將小尺度下恢復得到的清晰圖像作為輸入傳遞給后續網絡，逐尺度進行恢復，最終得到原尺寸的去模糊圖像；

步驟4：對多尺度對抗學習圖像去模糊網絡模型進行聯合訓練。

2.根據權利要求1所述的方法，其特征在于，所述采用運動模糊生成方法來生成清晰-模糊交通圖像對的具體步驟為：

第1步：使用高幀率相機對不同真實交通場景拍攝得到不同時間段、不同光照情況下的高清原始視頻數據。

第2步：對第1步中得到的高清原始視頻數據進行截幀以及圖像裁剪操作。因為高清圖像中運動車輛所占整張圖像的區域過小(不超過10％)，而靜態背景占比過大，導致圖像去模糊模型較難關注到圖像運動區域并且提取出有效的視覺特征，因此對圖像進行裁剪使得車輛模糊區域在圖像中占比達到40％以上。

第3步：通過將清晰圖像對應的傳感器信號進行累加來近似模糊圖像生成。拍攝設備中所內嵌的非線性相機響應函數(Camera Response Function,簡稱CRF)，能夠將拍攝設備連續的傳感器信號轉換為離散的像素值。因此，首先將采集得到的清晰圖像經過反向CRF變換得到傳感器信號，對若干個連續傳感器信號求平均后再通過正向CRF變換得到疊加后的模糊圖像。模糊累計、產生的過程可以表示為：

上式中，T為曝光時間，S(t)為t時刻的傳感器信號；M為采樣得到的清晰信號個數，S[i]為第i個清晰信號；g代表相機響應函數CRF，它將傳感器信號轉換為數字圖像；I是生成的模糊圖像。實際中，原始的傳感器信號和相機響應函數CRF都是未知的，因此使用了γ＝2.2的伽馬曲線來近似相機響應函數。

3.根據權利要求1所述的方法，其特征在于，所述的基于對抗學習的交通圖像去模糊網絡模型包括兩個部分：生成器和對抗器。

4.根據權利要求1或3所述的方法，其特征在于，所述的生成器網絡結構包括3個卷積塊、3個殘差模塊和3個反卷積塊構成。每個卷積塊的大小為5*5；每個殘差模塊由3個殘差塊(ResBlock)組成，且每個殘差塊由2個5*5的卷積層構成，同時殘差模塊的輸入和輸出構成跳躍殘差連接；每個反卷積塊的大小為5*5。生成器的每一個卷積塊輸出與對應特征圖尺度的反卷積塊輸出進行跳躍連接。

5.根據權利要求1或3所述的方法，其特征在于，所述的對抗器的任務是判斷輸入的圖像是生成器輸出的去模糊圖像還是原始真實清晰圖像，以此監督生成器輸出更加真實的去模糊圖像。對抗器的網絡結構包括5個卷積塊。每個卷積塊由2個4*4的卷積層構成，且最終一個卷積塊輸出一個概率值，用以表示輸入圖像是真實清晰圖像的概率。

6.根據權利要求1所述的方法，其特征在于，所述的多個結構相同的尺度從小到大的圖像去模糊網絡模型對模糊圖像從粗至精逐尺度恢復清晰圖像的具體步驟為：將不同尺度的清晰圖像生成過程視為圖像去模糊的子問題，設計多層級聯網絡，其中每層網絡都使用所提出的基于對抗學習的交通圖像去模糊網絡模型，以模糊圖像以及原始去模糊結果作為輸入，估計當前尺度下的清晰圖像，并使用對應尺度下的對抗器進行對抗學習。

7.根據權利要求1所述的方法，其特征在于，所述的對抗學習圖像去模糊網絡模型進行聯合訓練包括兩個目標函數：內容損失函數以及對抗損失函數。

8.根據權利要求1或7所述的方法，其特征在于，所述的內容損失函數用以約束生成器輸出的去模糊圖像與真實圖像在像素級別相近。內容損失函數包含N個子部分，由多個尺度下的去模糊圖像與真實圖像計算均方誤差得到。