[發明專利]一種用于監控視頻增強的漸進式特征流深度融合網絡

有效

• 申請號: 202011230728.5
• 申請日: 2020-11-06
• 公開（公告）號: CN112348766B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 陳瑞;楊航;宮霄霖;張衡
• 申請（專利權）人: 天津大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T5/00;G06N3/0455;G06N3/0464;G06N3/048
• 代理公司: 天津市三利專利商標代理有限公司 12107
• 代理人: 韓新城

1.用于監控視頻增強的漸進式特征流深度融合網絡，其特征在于，包括用于對監控視頻進行亮度增強的多級特征流融合網絡；所述多級特征流融合網絡包括U形融合模塊UFM，輸入與所述U形融合模塊UFM的輸出連接的跨尺度融合模塊CFM；所述U形融合模塊UFM的輸入連接第一基本卷積層的輸出，所述跨尺度融合模塊CFM的輸出連接第二基本卷積層的輸入；

所述第一基本卷積層的輸入與輸入側結合一卷積層的滲漏整流線性單元的輸出連接，所述第二基本卷積層的輸出連接幀重建模塊的輸入，所述幀重建模塊用于將所述滲漏整流線性單元的輸出的淺層特征以及第二基本卷積層的輸出的深層融合特征跳躍連接后形成的深層特征映射成亮度增強后的單幀圖像；

所述U形融合模塊UFM包括由多個殘差組RG構成的U形的編碼解碼網絡，并在編碼側與解碼側之間設置有通道注意力模塊CA，通道注意力模塊CA與解碼側的殘差組RG之間布置有卷積層；

從第一階段開始逐漸對特征圖進行下采樣；在收縮路徑中，在每個級別使用殘差組RG提取特征；使用一層卷積對特征圖下采樣后，特征的小尺度信息將傳到下一階段的殘差組RG再次提取特征；第一階段通道數不變，其他兩個階段的第一層卷積會將通道數擴充一倍，以提取更加豐富的特征信息；

在擴展路徑中，使用反卷積進行上采樣操作，同上一階段經過通道注意力模塊CA加權的特征圖在通道維度進行拼接，然后使用一層卷積將通道數縮減一倍，再使用殘差組RG進一步處理；

表示第m階段的編碼部分的殘差模塊的輸出，表示m+1階段的解碼部分的殘差組RG輸出，則第m級的輸出表示為：

其中表示殘差組RG的函數，表示卷積層，H_CA(·)表示通道注意力模塊CA的函數；

所述的跨尺度融合模塊CFM包括多層結構，每層包括多個殘差塊RB，分別用于提取、融合不同分辨率的特征；不同尺度的特征融合前先經過上采樣和或下采樣調整到相同尺度，經過上采樣和或下采樣后將相同尺度的特征圖在通道維度進行拼接，進而融合特征圖；所述殘差塊RB的主體是一層卷積、實例正則化層、滲漏整流線性單元LreLU和一層卷積的順次連接。

2.根據權利要求1所述用于監控視頻增強的漸進式特征流深度融合網絡，其特征在于，所述通道注意力模塊CA包括：依次順序連接的全局均值池化層、第一全連接層FC、修正線性單元ReLU、第二全連接層FC、Sigmoid激活層；通過全局均值池化操作得到C×1×1大小的初始權重張量后，通過Sigmoid激活層輸最后的權重張量F_M：

F_M＝f(F_C2(δ(F_C1(z))))

其中，f(·)表示Sigmoid門函數，F_C1和F_C2表示兩個全連接層，δ(·)表示修正線性單元ReLU激活函數，C表示通道數。

3.根據權利要求2所述用于監控視頻增強的漸進式特征流深度融合網絡，其特征在于，所述殘差組RG包括四個順序布置的增強殘差塊ERB，前三個增強殘差塊ERB提取的特征連接到最后一個增強殘差塊ERB的后端，并與最后一個增強殘差塊ERB的輸出在通道維度拼接；其特征提取方式表示如下：

F_ERB0表示輸入到殘差組RG的特征圖，F_ERB1,F_ERB2,F_ERB3,F_ERB4分別表示四個增強殘差塊ERB的輸出，F_C表示聚合后的殘差特征圖；經過一層卷積縮減通道數后，再與殘差組RG的輸入做一個殘差連接，最后輸出：

F_RG＝F_ERB0+H_Conv(F_C)

其中F_RG表示殘差組RG的輸出，H_Conv(·)表示恢復通道數的卷積操作。

4.根據權利要求3所述用于監控視頻增強的漸進式特征流深度融合網絡，其特征在于，所述增強殘差塊ERB由一個卷積層、一個修正線性單元ReLU、另一個卷積層和一個增強空間注意力模塊ESA順次連接構成。