[發明專利]一體化解碼器、多任務網絡模型及訓練方法

在審

• 申請號: 202011281889.7
• 申請日: 2020-11-17
• 公開（公告）號: CN114519422A
• 公開（公告）日: 2022-05-20
• 發明（設計）人: 元潤一;樂國慶;蘇帥;徐大鵬
• 申請（專利權）人: 北京華航無線電測量研究所
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04;G06N3/08;G06V20/58;G06V10/26;G06V10/80;G06V10/82
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一體化解碼器,其特征在于，由二級單元級聯組成拓撲結構，將基礎網絡輸出的多尺度特征信息轉化為單一尺度特征信息表征；

所述二級單元由稀疏化卷積層、上采樣反卷積層、信息融合通道堆疊層和二次稀疏化卷積層串聯構成，所述二級單元的輸入為高分辨率特征圖和低分辨率特征圖，二級單元的輸出與輸入的高分辨率特征圖的尺寸保持一致。

2.如權利要求1所述的一體化解碼器,其特征在于，所述一體化解碼器由兩部分網絡結構組成，第一部分網絡結構包括三個二級單元，基于基礎網絡輸出的32、16、8下采樣特征圖獲得下采樣為16、8、4的融合特征圖，第二部分網絡結構包括兩個二級單元，基于第一部分網絡結構的輸出獲得下采樣為4的融合特征。

3.如權利要求2所述的一體化解碼器,其特征在于，

所述第一部分網絡結構使用基礎網絡輸出的32下采樣特征圖與16下采樣特征圖首先進入第一個二級單元輸出16下采樣融合特征圖，然后使用16下采樣融合特征圖與基礎網絡輸出的8下采樣特征圖進入第二個二級單元輸出8下采樣融合特征圖，使用8下采樣融合特征圖與基礎網絡輸出的4下采樣特征圖進入第三個二級單元輸出4下采樣融合特征圖；

所述第二部分網絡結構對兩個二級單元采用與第一部分網絡結構相同的級聯方式，將所述第一部分網絡結構得到的下采樣為16、8、4的融合特征圖下采樣為4的融合特征。

4.基于權利要求1、2或3所述一體化解碼器的多任務網絡模型，其特征在于，包括基礎網絡、一體化解碼器、目標檢測任務頭和場景分割任務頭；

所述基礎網絡選取深度較淺，多尺度級聯成分較大的網絡模型，獲取視頻流當前幀的圖像，將圖像固定到指定分辨率作為模型的輸入，提取多尺度特征信息；

所述一體化解碼器將基礎網絡輸出的多尺度特征信息轉化為單一尺度特征信息表征，即最終得到下采樣為4的融合特征；

所述目標檢測任務頭為CenterNet目標檢測任務頭，所述場景分割任務頭為FCN場景分割任務頭，前者用于生成候選框，后者生成場景掩碼，獲得車輛目標的位置信息和車道線掩碼信息。

5.如權利要求4所述的多任務網絡模型，其特征在于，所述基礎網絡選取HRnetv2模型。

6.如權利要求4或5所述的多任務網絡模型，其特征在于，所述目標檢測和場景分割任務頭輸出下采樣為4的特征圖尺寸為10x40x104，10層通道分別代表檢測框目標中心點類別、檢測框寬度、檢測框高度、檢測框中心點水平偏移量和檢測框中心點豎直偏移量5個變量以及分割掩碼為背景掩碼和偏左車道、左車道、右車道、右車道的車道線掩碼共5個變量；所述10個通道在分辨率為40x104的二維點集中，每一個點映射回原圖得到目標位置和掩碼像素類別。

7.基于權利要求4所述多任務網絡模型的訓練方法，其特征在于，包括以下步驟：

步驟S1、根據一體化解碼器結構，調整訓練階段的損失函數和多任務的權重參數，涉及如下參數：

(1)目標檢測損失函數：L_hm，L_wh，L_reg

(2)場景分割損失函數：L_seg

(3)一體化網絡損失函數：L

(4)目標檢測框中心位置類別預測值和真值：M_xy

(5)目標檢測框寬度和高度的預測值和真值：wⁱ，hⁱ

(6)目標檢測框中心位置與特征點位置了移量的預測值和真值：reg_xⁱ

(7)掩碼像素類別的預測值和真值：y_i

(8)損失函數權重參數：λ_hm，λ_wh，λ_reg，λ_seg

步驟S2、使用基于CenterNet的目標檢測損失函數以及基于FCN的場景分割損失函數來分別收斂兩個任務，得到一體化網絡的多任務損失函數，具體公式如下：

L＝λ_hmL_hm+λ_whL_wh+λ_regL_reg+λ_segL_seg (5)

步驟S3、對一體化網絡進行模型訓練，獲得子任務之間均衡學習的模型參數。