[發明專利]面向智能路側設備的小尺度行人目標快速超分辨率化方法

有效

• 申請號: 202010982493.9
• 申請日: 2020-09-17
• 公開（公告）號: CN112132746B
• 公開（公告）日: 2022-11-11
• 發明（設計）人: 李旭;朱建瀟;趙琬婷;徐啟敏
• 申請（專利權）人: 東南大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/50
• 代理公司: 南京眾聯專利代理有限公司 32206
• 代理人: 張天哲

本發明公開了一種面向智能路側設備的小尺度行人目標快速超分辨率化方法，該方法包括：采集并構建小尺度行人高低分辨率數據訓練集；基于生成對抗思想，搭建針對低分辨率小尺度行人圖像的輕量化生成網絡，該網絡首先利用可分離卷積進行圖像初步特征的提取，然后結合殘差模塊對高頻信息進行擬合，最后借助像素重組模塊對低分辨率行人圖像進行高分辨率化重建；搭建判別網絡，對生成網絡的參數進行判別訓練，得到最佳生成網絡；利用最佳生成網絡對低分辨率小尺度行人圖片進行超分辨化，得到高分辨率的行人目標。本發明所設計輕量級的超分辨率化生成網絡具備訓練時間短、推理延時低的顯著優勢，填補了智能路側領域小尺度行人實時超分辨率化技術空白。

技術領域

本發明屬于計算機視覺與智能交通領域，涉及智能交通路側場景圖像中的小尺度行人目標超分辨率化方法，尤其是一種面向智能路側設備的小尺度行人目標快速超分辨率化方法。

背景技術

伴隨著我國道路交通規模快速增長，行人與車輛之間的交通運輸事故頻發，車輛的安全性能不斷得到提升，但針對行人的安全保障設備卻一直處于缺乏狀態。為保障行人的基本安全，采用電子信息化技術輔助行人對周邊駕駛員或者智能汽車進行安全預警的智能路側系統已成為國內外研究的重點。其中，對小尺度行人的準確識別是保障安全預警系統快速響應的前提條件，然而，小尺度行人目標視覺特征稀疏，單純依賴行人檢測算法難以保障檢測的有效性，為了提升小尺度目標的識別能力，超分辨率化方法得到了廣泛的關注。

通用型的超分辨率化方法有三種主要的類別，第一類是基于插值的方法，比如最近鄰插值、雙線性插值和雙立方插值，這一類方法優勢在于計算量小，但忽視了交通領域下常見的運動模糊等問題，第二類方法是基于重構的方法，主要代表是迭代反投影法、凸集投影法、最大后驗概率法等，這一類方法針對單一場景的重構相比于插值的方法有較大提升，但對于背景復雜的問題仍存在峰值信噪比過低的情況，第三類方法是基于學習的方法，這一類方法主要的代表是深度學習和稀疏編碼方法，這類方法具有場景適應強、特征魯棒性高的特點，比較契合智能路側視角下小尺度行人目標的超分辨率化要求。

然而，現有的深度學習超分辨化方法由于網絡結構的復雜性，均存在著算法執行時間過長的嚴重問題，難以直接用于實時性要求較高的智能路側設備中。因此，設計一種快速的小尺度行人目標超分辨率化方法成為了推動智能路側設備發展、保障行人生命安全的核心一環。

發明內容

為解決上述問題，本發明公開了一種面向智能路側設備的小尺度行人目標快速超分辨率化方法，有效地填補了當前智能路側領域小尺度行人實時超分辨率化技術的空白，進一步提升了智能路側設備的功能性與智能性。

為了達到上述目的，本發明提供了如下的技術方案：

一種面向智能路側設備的小尺度行人目標快速超分辨率化方法，包括以下步驟：

(1)采集包含多種智能路側場景的高分辨率小尺度行人圖像，利用下采樣方法獲得低分辨率小尺度行人圖像集合，利用高低分辨率圖像的對應關系，構建樣本量為N的小尺度行人多分辨率圖像訓練數據集。

(2)基于生成對抗思想，設計小尺度行人目標快速超分辨率化網絡的生成網絡。首先，通過可分離卷積與特征圖壓縮這類輕量化卷積結構初步地提取低分辨率樣本圖片中的小尺度目標語義特征，其次，堆疊殘差結構形成殘差塊，將殘差塊作為高分辨率樣本高頻信息的估計單元，這樣可以在不過多引入參數量的前提下，利用殘差結構對低分辨率樣本與高分辨率樣本之間的高頻差別進行擬合，進一步地，將殘差塊的輸出接入一個特征壓縮卷積，用來減少特征參數的維度，保證算法的實時性，緊接著，利用逐個元素相加的方法，再一次引入側向連接形成雙重的前饋結構，這樣既可以有效地避免梯度反向傳播時的梯度彌散情況，又可以顯著減少生成網絡整體的訓練迭代次數，再次，利用像素重組層對特征圖進行上采樣，避免線性采樣或者雙線性采樣過程中照成的鋸齒狀邊沿，由此獲得更高質量的高分辨率特征圖，最后，通過可分離卷積結構生成高分辨率行人圖片。此部分的網絡結構設計如下：