[發明專利]門機制引導邊緣信息蒸餾的RGB-D圖像語義分割方法及終端

在審

• 申請號: 202011085260.5
• 申請日: 2020-10-12
• 公開（公告）號: CN112634296A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 彭映青;鄒文斌;張正宇;田時舜;李霞;鄒光明
• 申請（專利權）人: 深圳大學;深圳市慧視智聯科技有限公司
• 主分類號: G06T7/13
• 分類號: G06T7/13;G06N3/04;G06N3/08;G06T5/30;G06T5/50
• 代理公司: 深圳市君勝知識產權代理事務所(普通合伙) 44268
• 代理人: 劉芙蓉

1.一種基于門機制引導邊緣信息蒸餾的RGB-D圖像語義分割方法，其特征在于，包括：

獲取待語義分割的RGB-D圖像，所述RGB-D圖像包括RGB圖像和所述RGB圖形對應的深度圖像；

將所述RGB圖像和所述RGB圖像對應的深度圖像輸入預先訓練好的神經網絡，得到所述RGB-D圖像對應的語義分割結果；其中，所述神經網絡包括：特征提取網絡層、門機制引導的特征融合網絡層、邊緣信息蒸餾網絡層及多層特征融合網絡層；所述神經網絡是根據樣本RGB-D圖像及所述樣本RGB-D圖像對應的樣本標識圖像訓練得到。

2.如權利要求1所述的基于門機制引導邊緣信息蒸餾的RGB-D圖像語義分割方法，其特征在于，所述將所述RGB圖像和所述RGB圖形對應的深度圖像輸入預先訓練好的神經網絡，得到所述RGB-D圖像對應的語義分割結果，具體包括：

將所述RGB-D圖像輸入所述特征提取網絡層，提取所述RGB-D圖像多個層級的RGB編碼特征和深度編碼特征；

將多個層級中每層的RGB編碼特征和深度編碼特征輸入所述門機制引導的特征融合網絡層，得到與每層對應的融合特征及具有互補性的特征；

將每個層級的所述具有互補性的特征輸入所述邊緣信息蒸餾網絡層，生成邊緣感知特征；

將所述RGB編碼特征與所述邊緣感知特征輸入邊緣信息引導的特征網絡，生成具有邊緣感知的高級語義特征；

對所述融合特征及所述高級語義特征進行上采樣，采用逐層地融合解碼器的特征，生成所述RGB-D圖像對應的語義分割結果。

3.如權利要求2所述的基于門機制引導邊緣信息蒸餾的RGB-D圖像語義分割方法，其特征在于，所述將多個層級中每層的RGB編碼特征和深度編碼特征輸入所述門機制引導的特征融合網絡層，得到與每層對應的融合特征的流程為：

Ca_i＝F(C(Mx_i，Md_i))

g_i＝Mx′_i*X_i+Md′_i*D_i

Mx_i，Md_i分別表示在骨干網絡中第i層壓縮后為單通道的彩色特征圖和深度特征圖，C表示級聯操作，Ca代表通過比較函數F生成的特征圖，將其切分為Mx′_i和Md′_i其中Mx_i'＝Sigmoid(W_i*MX_i),Mdi'＝Tanh(W_i*MD_i)，分別表示重要程度的概率圖，g_i代表最終具有選擇性的高效的特征圖。

4.如權利要求2所述的基于門機制引導邊緣信息蒸餾的RGB-D圖像語義分割方法，其特征在于，所述將每個層級的所述具有互補性的特征輸入所述邊緣信息蒸餾網絡層，生成邊緣感知特征,具體包括：

采用如下公式對每個門機制生成的特征圖進行蒸餾，生成邊緣感知特征；

其中，g_i表示第i個門機制生成的特征圖，σ表示sigmoid激活函數，E_θ為具有鑒別性精確的邊緣特征圖。

5.如權利要求1所述的基于門機制引導邊緣信息蒸餾的RGB-D圖像語義分割方法，其特征在于，所述將所述RGB-D圖像輸入所述特征提取網絡層，提取所述RGB-D圖像多個層級的RGB編碼特征和深度編碼特征的步驟之后還包括：對所述RGB編碼特征采用邊緣特征作為細節信息來指導語義特征的生成。