[發明專利]面向智能路側設備的小尺度行人目標快速超分辨率化方法

有效

• 申請號: 202010982493.9
• 申請日: 2020-09-17
• 公開（公告）號: CN112132746B
• 公開（公告）日: 2022-11-11
• 發明（設計）人: 李旭;朱建瀟;趙琬婷;徐啟敏
• 申請（專利權）人: 東南大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/50
• 代理公司: 南京眾聯專利代理有限公司 32206
• 代理人: 張天哲

1.一種面向智能路側設備的小尺度行人目標快速超分辨率化方法，其特征在于，包含以下步驟：

(1)采集包含多種智能路側場景的高分辨率小尺度行人圖像，利用下采樣方法獲得低分辨率小尺度行人圖像集合，利用高低分辨率圖像的對應關系，構建樣本量為N的小尺度行人多分辨率圖像訓練數據集；

(2)基于生成對抗思想，設計小尺度行人目標快速超分辨率化網絡的生成網絡；首先，通過可分離卷積與特征圖壓縮這類輕量化卷積結構初步地提取低分辨率樣本圖片中的小尺度目標語義特征，其次，堆疊殘差結構形成殘差塊，將殘差塊作為高分辨率樣本高頻信息的估計單元，進一步地，將殘差塊的輸出接入一個特征壓縮卷積，緊接著，利用逐個元素相加的方法，再一次引入側向連接形成雙重的前饋結構，再次，利用像素重組層對特征圖進行上采樣，由此獲得更高質量的高分辨率特征圖，最后，通過可分離卷積結構生成高分辨率行人圖片，此部分的網絡結構設計如下：

第1層輸入層：輸入通道數為3，分辨率大小為A×A，輸出為A×A×3的特征圖；

第2層特征提取層：64個尺寸為7×1的卷積核，步長為1，輸出為A×A×64的特征圖；

第3層特征提取層：64個尺寸為1×7的卷積核，步長為1，輸出為A×A×64的特征圖；

第4層特征提取層：256個尺寸為3×3的卷積核，步長為1，輸出為A×A×256的特征圖；

第5層特征提取層：128個尺寸為3×3的卷積核，步長為1，輸出為A×A×128的特征圖；

第6層生成結構殘差塊：256個尺寸為3×3步長為1的卷積層，輸出為A×A×256的特征圖；批量正則化處理層，輸出為A×A×256的特征圖；pRelu激活函數激活層，輸出為A×A×256的特征圖；128個尺寸為1×1步長為1的卷積層，輸出為A×A×128的特征圖；批量正則化處理層，輸出為A×A×128的特征圖；將該生成結構殘差塊的輸入特征圖與該生成結構殘差塊的最后一個批量正則化處理層進行逐元素相加，輸出A×A×128的特征圖；

第7層生成結構殘差塊：256個尺寸為3×3步長為1的卷積層，輸出為A×A×256的特征圖；批量正則化處理層，輸出為A×A×256的特征圖；pRelu激活函數激活層，輸出為A×A×256的特征圖；128個尺寸為1×1步長為1的卷積層，輸出為A×A×128的特征圖；批量正則化處理層，輸出為A×A×128的特征圖；將該生成結構殘差塊的輸入特征圖與該生成結構殘差塊的最后一個批量正則化處理層進行逐元素相加，輸出A×A×128的特征圖；

第8層生成結構卷積層：128個尺寸為3×3的卷積核，步長為1，輸出為A×A×128的特征圖；

第9層生成結構側向連接層：將第8層生成結構卷積層的輸出特征圖與第6層生成結構殘差塊的輸入特征圖進行逐元素相加，輸出為A×A×128的特征圖；

第10層生成結構上采樣層：利用像素重組層來實現特征圖的上采樣，輸出為2A×2A×128的特征圖；

第11層生成結構上采樣層：利用像素重組層來實現特征圖的上采樣，輸出為4A×4A×128的特征圖；

第12層生成結構卷積層：3個尺寸為9×9的可分離卷積核，步長為1，輸出為4A×4A×的高分辨率行人圖片；

(3)基于生成對抗思想，設計小尺度行人目標快速超分辨率化網絡的判別網絡，借助InceptionV2網絡中的特征提取結構，提取目標的多項語義特征之后，引入輸出類別為2的全連接層，對語義特征進行進一步的抽取，最后利用sigmoid激活函數對全連接層的輸出進行0-1的歸一化，輸出對給定輸入圖片的真實度估計p，綜合以上結構，形成對生成的高分辨樣本估計進行真假判斷的判別網絡D_θ，其中，θ為該判別網絡的參數，網絡結構如下：

第1層輸入層：輸入通道數為3，分辨率大小為4A×4A，輸出為4A×4A×3的特征圖；

第2層特征提取層：選用InceptionV2的特征提取層作為本層的結構，輸出為的特征圖；

第3層全連接層：將三維的輸入拉伸至1維，輸出類別為2；

第4層歸一化層：利用sigmoid函數，對第3層全連接層輸出的結果進行歸一化，輸出類別為2；

(4)對所設計的生成網絡與判別網絡進行網絡模型的訓練；首先，將低分辨率樣本作為生成網絡G_ω的輸入，經過各類卷積進行前向傳播，得到高分辨率樣本估計計算高分辨率樣本估計與高分辨率樣本之間的內容損失值L_con；緊接著，將高分辨率樣本估計的真假標簽設為0，高分辨率樣本的真假標簽設為1，得到標簽值y_k，使用判別網絡對推理的高分辨率圖片與原始高分辨率圖片進行真實度估計，得到估計值計算估計值與標簽值y_k的二分類交叉熵損失值L_cro；最后，利用以上兩種損失值，進行梯度的反向傳播；該部分的詳細步驟如下：

子步驟1：計算前向傳播；將低分辨率樣本作為生成網絡的輸入，經過各類卷積運算，得到高分辨率樣本估計標記該高分辨率樣本估計的真假標簽y_k設為值為0，對應高分辨率樣本的真假標簽y_k設為1，使用判別網絡對高分辨率樣本估計與高分辨率樣本進行真實度估計，得到估計值

子步驟2：計算損失值；判別網絡的損失值為真實度估計值與真假標簽值y_k的二分類交叉熵L_cro，具體計算公式如下：

生成網絡的損失值為高分辨率樣本估計與對應高分辨率樣本在判別器D_θ特征提取層的尾層特征圖均方誤差L_con，具體計算公式如下：

其中，Φ(x)代表給定輸入樣本x經過判別器D_θ特征提取層提取出的尾層特征圖，W、H分別表示提取特征圖的寬度和高度；

子步驟3：進行梯度反向傳播，保存每一次迭代過程中生成網絡與判別網絡的參數值；

子步驟4：選取子步驟3迭代過程中生成網絡與判別網絡損失之和最低的網絡參數為最佳網絡參數，最佳網絡參數對應的網絡模型為最優模型；

(5)使用步驟4.4中輸出最優模型中的生成網絡對智能路側視角下的小尺度行人目標進行超分辨率化操作。