[發明專利]一種基于多尺度對抗學習的交通圖像去模糊方法及裝置

在審

• 申請號: 202110426042.1
• 申請日: 2021-04-20
• 公開（公告）號: CN113034404A
• 公開（公告）日: 2021-06-25
• 發明（設計）人: 鄒月嫻;柳軍領
• 申請（專利權）人: 北京大學深圳研究生院
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 嚴小艷

本發明公開了一個基于多尺度對抗學習的交通圖像去模糊方法及裝置。其中，所述方法包括以下幾個步驟：步驟1、采用運動模糊生成方法，生成清晰?模糊交通圖像對；步驟2、構建基于對抗學習的交通圖像去模糊網絡模型，對恢復得到的圖像進行對抗學習，使其更接近真實清晰圖像；步驟3、構建多個結構相同的尺度從小到大的圖像去模糊網絡模型，將小尺度下恢復得到的清晰圖像作為輸入傳遞給后續網絡，逐尺度進行恢復，最終得到原尺寸的去模糊圖像；步驟4、對多尺度對抗學習圖像去模糊網絡模型進行聯合訓練。本發明可以通過多尺度對抗學習的方法，提升去模糊圖像質量。

技術領域

本發明涉及人工智能技術和圖像恢復領域，具體地涉及一種基于多尺度對抗學習的交通圖像去模糊方法及裝置，主要通過對多個尺度下去模糊圖像進行對抗學習，從而提升交通圖像車輛模糊的恢復效果。

背景技術

隨著近十年人工智能研究的大量開展以及相關應用的大規模普及，智能交通已經成為近幾年的熱門研究領域。交通圖像有著廣泛的實際運用如車牌識別、車輛計數等。但交通場景下由于行駛車輛與固定監控設備之間的相對運動而導致圖像中存在一定程度模糊現象，而模糊圖像會影響主觀視覺以及機器視覺處理，因此交通圖像去模糊方法在智能交通中具有重要的應用價值。

圖像去模糊的目的就是使用一定的方法從模糊圖像中恢復出清晰的、包含豐富細節信息的圖像。其主流方法可以分為兩大類：非盲去模糊和盲去模糊。主要區別在于模糊核是否已知。傳統非盲去模糊方法在已知模糊核的情況下重建清晰圖像，通常使用反卷積方法如L-R算法、維納濾波等。但是由于自然場景復雜多變，模糊核是未知的，因此使用盲去模糊方法對圖像進行恢復。

近年來由于深度學習發展，越來越多學者使用卷積神經網絡進行圖像盲去模糊，并取得較好的效果。但由于卷積神經網絡多注重于圖像整體復原，而忽視圖像中靜態清晰背景與動態模糊物體之間的區別，使得圖像細節與紋理的恢復效果并不理想。如何有效恢復圖像中細節信息，對于圖像去模糊以及其他基于圖像的智能交通理解任務而言，是非常重要的。。

發明內容

本發明針對當前主流圖像去模糊方法中細節信息恢復不佳的問題，提出一種基于多尺度對抗學習的交通圖像去模糊方法及裝置。本發明通過對卷積神經網絡恢復得到的去模糊圖像進行對抗學習，能夠使得恢復的圖像更加真實；并且通過從粗到細的多尺度圖像去模糊方式，有效恢復圖像細節信息。本發明所采用的技術方案如下：

步驟1、采用運動模糊數據集生成方法，生成清晰-模糊交通圖像對；

步驟2、構建基于對抗學習的交通圖像去模糊網絡模型，對恢復得到的圖像進行對抗學習，使其更接近真實清晰圖像；

步驟3、構建多個結構相同的尺度從小到大的圖像去模糊網絡模型，將小尺度下恢復得到的清晰圖像作為輸入傳遞給后續網絡，逐尺度進行恢復，最終得到原尺寸的去模糊圖像；

步驟4、對多尺度對抗學習圖像去模糊網絡模型進行聯合訓練。

進一步地，步驟1中所述的采用運動模糊數據集生成清晰-模糊交通圖像對的具體步驟為：

第1步：使用高幀率拍照設備對不同真實交通場景拍攝得到不同時間段、不同光照情況下的高清原始視頻數據。

第2步：對第1步中得到的高清原始視頻數據進行截幀以及圖像裁剪操作。因為高清圖像中運動車輛所占整張圖像的區域過小(不超過10％)，而靜態背景占比過大，導致圖像去模糊模型較難關注到圖像運動區域并且提取出有效的視覺特征，因此對圖像進行裁剪使得車輛模糊區域在圖像中占比達到40％以上。