[發明專利]一種基于貝葉斯深度多任務學習的語義分割與深度預測方法

在審

• 申請號: 202210537471.0
• 申請日: 2022-05-18
• 公開（公告）號: CN114913328A
• 公開（公告）日: 2022-08-16
• 發明（設計）人: 葛宏偉;王世豪
• 申請（專利權）人: 大連理工大學
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/44;G06V10/42;G06V10/80;G06V10/82;G06N3/04;G06N3/08;G06N7/00
• 代理公司: 遼寧鴻文知識產權代理有限公司 21102
• 代理人: 許明章;王海波

1.一種基于貝葉斯深度多任務學習的語義分割與深度預測方法，其特征在于，包括以下步驟：

步驟1：選取數據集，對數據進行預處理后進行劃分，分成訓練集和測試集；

步驟2：使用經過預訓練處理的主干網絡作為多任務模型的共享編碼器，用于生成包含多個尺度的原始共享特征；

利用多任務技術共同實現語義分割與深度預測任務，通過貝葉斯門控機制對共享特征流進行過濾，并利用多尺度信息實現多任務的性能提升；

本方法的網絡包含主干網絡與共享網絡解碼器，共享網絡解碼器包括貝葉斯多通道交流單元、貝葉斯多任務池與貝葉斯多模態蒸餾模塊；網絡選定的主干網絡為經過ImageNet預訓練的HR-Net，將訓練集的圖像輸入至共享深度網絡中，經過主干網絡輸出四種不同尺度的特征，其大小分別為輸入圖像的1/4、1/8、1/16、1/32；

步驟3：按照由低尺度到高尺度的次序，對相鄰的兩種尺度特征分組，最后得到三個特征組，利用貝葉斯多通道交流單元與貝葉斯任務共享單元依次對這三組特征進行信息交流操作，令較大尺度特征學習到局部的細化信息；

在共享網絡解碼器的前序特征傳播過程中，貝葉斯多通道交流單元令特征組中較大尺度信息學習較小尺度的特征信息，在后續的多任務交流過程中，貝葉斯多任務池能更加有效地利用尺度特征所包含的信息；

首先貝葉斯多通道交流單元構建單元內的多尺度融合特征，計算公式如下：

其中，M_scale表示多尺度融合特征，CONCAT(·)表示多個尺度的拼接操作，s表示輸入至貝葉斯多通道交流單元的尺度數量，μ,Σ_j表示對應于該貝葉斯門控單元的均值與低秩加對角后驗近似矩陣，N(·)表示服從分布化處理，θ_j表示對應于第j個尺度的貝葉斯門控機制，表示服從分布化的貝葉斯門控機制，P_sⁱ表示對應于s個尺度的輸入特征，D_s表示對應于s個尺度的下采樣池化操作；

得到多尺度融合特征之后，其次利用基于ResNet結構的信息交流塊構成的基礎網絡層對多尺度融合特征進行學習，通過上采樣操作將多尺度融合特征復原為對應于貝葉斯多通道交流單元輸入的高尺度信息，最后輸出對應于貝葉斯多通道交流單元輸入尺度的多個特征，計算公式如下：

其中，j表示輸出的尺度個數，表示第j個尺度的輸出特征，M_scale表示輸入的多尺度融合特征，F_scale(·)表示為卷積塊函數，f_j表示為尺度變換卷積函數，U_j(·)表示為上采樣操作；

經過貝葉斯多通道交流單元中的尺度特征交流后，貝葉斯多任務池從貝葉斯多通道交流單元的輸出的多個尺度的特征中提取有利信息，共同優化多個任務；

貝葉斯多任務池包含對應于各個尺度的貝葉斯多任務共享模塊，在不同特征組的多任務交流過程中，從貝葉斯多任務池中選取對應尺度的貝葉斯多任務共享模塊，在每個貝葉斯多任務共享模塊中對多個任務特征進行組合得到任務融合特征，計算公式如下：

其中，N表示總任務個數，M_task表示輸出的任務融合特征，CONCAT(·)表示多個任務特征的拼接操作，μ,Σ_k表示對應于貝葉斯門控矩陣的均值與低秩加對角后驗近似矩陣，N(·)表示服從分布化處理，Θ_k表示第k個任務的貝葉斯遮罩矩陣，表示服從分布化的貝葉斯門控機制，表示為第N個任務的輸入特征；

接下來任務融合特征通過貝葉斯多任務共享模塊中的編解碼器學習抽象的共享表征，該解碼器由兩個ResNet基礎塊構成，最后得到不同任務的特征，計算公式如下：

Q^o＝F_task(M_task)(4)

其中，M_task表示輸出的任務融合特征，F_task(·)表示為多任務的編解碼操作，Q^o為任務的輸出特征；

步驟4：對于步驟3中處理后的多個尺度任務信息，在共享網絡解碼器的后序特征傳播過程中，利用貝葉斯多通道交流單元實現由高尺度到低尺度的信息傳遞，令較小尺度特征理解較大感受野中的場景信息；

經過步驟3得到處理后得到四個尺度任務信息，在共享網絡解碼器的后序特征傳播過程中，按照由高尺度到低尺度的次序，對相鄰的兩種尺度特征分組，最后得到三個特征組，依次利用貝葉斯多通道交流單元對這三組特征進行信息交流，將較低尺度的特征信息傳輸至更高的尺度特征中，其中較低尺度特征通過上采樣操作與較高尺度信息進行像素對齊與融合操作，對融合后的尺度特征進行信息交流，最后分別輸出對應于四個尺度的語義分割與深度預測任務的特征；

步驟5：利用貝葉斯多模態蒸餾模塊對步驟4得到的語義分割與深度預測任務的多尺度特征進行有利知識提取并細化每個任務，最后輸出語義分割與深度預測任務的預測；

經過步驟4得到經過尺度與任務信息間充分交流后的特征信息，利用貝葉斯多模態蒸餾有效地獲取任務間互補信息，其計算公式如下：

其中，與分別表示為第k個與第l個任務的輸入特征，表示為第k個任務的輸出特征，l表示為除第k個任務外的其他任務，表示第k個任務特征處理中來自第l個任務的貝葉斯門控單元，μ,Σ_l表示對應于該貝葉斯門控單元的均值與低秩加對角后驗近似矩陣，N(·)表示服從分布化處理，表示服從分布化的貝葉斯門控單元，表示第k個任務特征處理中來自第l個任務的注意力單元；

步驟6：利用訓練數據集中的真實樣本與步驟5得到的預測圖像對比，得到語義分割與深度預測任務的總體損失，更新模型的參數并進行調優；

通過訓練預測結果與真實標簽進行對比學習計算多任務損失，計算公式如下：

其中，N是任務個數，ω_i是第i個任務的權重參數，L_i是第i個任務的損失函數，L_total是總體損失函數，該損失函數對模型參數優化的目標是同時優化多個任務，同時提升語義分割與深度預測任務的性能表現；

步驟7：在測試過程中，將測試集圖像輸入至本方法的網絡中，并執行貝葉斯平均操作對網絡參數進行采樣平均，最后網絡模型對于測試數據生成相應的語義分割與深度預測結果；

在測試時確定在貝葉斯模型平均中的采樣次數M，在每次采樣后對深度網絡的batchnorm進行更新，經過平均后輸出最終的預測結果。