[發明專利]門機制引導邊緣信息蒸餾的RGB-D圖像語義分割方法及終端

在審

• 申請號: 202011085260.5
• 申請日: 2020-10-12
• 公開（公告）號: CN112634296A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 彭映青;鄒文斌;張正宇;田時舜;李霞;鄒光明
• 申請（專利權）人: 深圳大學;深圳市慧視智聯科技有限公司
• 主分類號: G06T7/13
• 分類號: G06T7/13;G06N3/04;G06N3/08;G06T5/30;G06T5/50
• 代理公司: 深圳市君勝知識產權代理事務所(普通合伙) 44268
• 代理人: 劉芙蓉

本發明提供一種基于門機制引導邊緣信息蒸餾的RGB?D圖像語義分割方法、存儲介質及終端。方法包括：獲取待語義分割的RGB?D圖像，RGB?D圖像包括RGB圖像和RGB圖形對應的深度圖像；將RGB圖像和RGB圖形對應的深度圖像輸入預先訓練好的神經網絡，得到RGB?D圖像對應的語義分割結果；其中，所述神經網絡包括：特征提取網絡層、門機制引導的特征融合網絡層、邊緣信息蒸餾網絡層及多層特征融合網絡層。通過采用門機制自適應的學習彩色圖和深度圖之間的互補關系，將門機制生成的特征通過蒸餾網絡提取有鑒別性的邊緣信息來增強高層次語義特征圖的細節信息，并將各個門機制生成的特征圖進一步逐層與解碼器的特征融合，增加更多的細節信息，從而生成更精準高效的語義分割圖。

技術領域

本發明涉及通信技術領域，尤其涉及一種基于門機制引導邊緣信息蒸餾的RGB-D圖像的語義分割方法、存儲介質及終端。

背景技術

語義分割旨在為每個像素分配一個類別標簽，主要廣泛應用在以視覺為基礎的自動駕駛，精準農業，三維地圖重構，醫療圖像分割，人機交互等領域。

目前，很多語義分割方法主要通過融合深度圖和彩色圖來生成更具有表征的特征來提高RGB-D圖像語義分割的性能。在編碼器和解碼器結構中，根據融合的階段分為前期融合，中期融合和后期融合。這些方法大都是采用融合網絡層直接對深度圖和彩色圖進行融合。然而，由于像Realsense 等深度攝像機采集的深度圖會存在一定的噪聲，直接使用深度圖會對語義分割的性能產生一定影響。

因此，現有技術還有待于進一步的提升和改進。

發明內容

鑒于上述現有技術的不足，本發明的目的在于提供一種基于門機制引導邊緣信息蒸餾的RGB-D圖像的語義分割、存儲介質及終端，旨在解決現有由于深度圖存在噪聲直接使用深度圖對語義分割的性能產生不利影響的問題。

第一方面，一種基于門機制引導邊緣信息蒸餾的RGB-D圖像語義分割方法，其中，包括：

獲取待語義分割的RGB-D圖像，所述RGB-D圖像包括RGB圖像和所述RGB圖形對應的深度圖像；

將所述RGB圖像和所述RGB圖形對應的深度圖像輸入預先訓練好的神經網絡，得到所述RGB-D圖像對應的語義分割結果；其中，所述神經網絡包括：特征提取網絡層、門機制引導的特征融合網絡層、邊緣信息蒸餾網絡層及多層特征融合網絡層；所述神經網絡是根據樣本RGB-D圖像及所述樣本RGB-D圖像對應的樣本標識圖像訓練得到。

上述所述的基于門機制引導邊緣信息蒸餾的RGB-D圖像語義分割方法，通過采用門機制自適應的學習彩色圖和深度圖之間的互補關系，并結合門機制引導的特征融合以及通過蒸餾網絡提取有鑒別性的邊緣信息，進一步逐層與解碼器的特征融合，增加更多的細節信息，從而生成更精準高效的語義分割圖。

可選地，所述的基于門機制引導邊緣信息蒸餾的RGB-D圖像語義分割方法，其中，所述將所述RGB圖像和所述RGB圖形對應的深度圖像輸入預先訓練好的神經網絡，得到所述RGB-D圖像對應的語義分割結果，具體包括：

將所述RGB-D圖像輸入所述特征提取網絡層，提取所述RGB-D圖像多個層級的RGB編碼特征和深度編碼特征；

將多個層級中每層的RGB編碼特征和深度編碼特征輸入所述門機制引導的特征融合網絡層，得到與每層對應的融合特征及具有互補性的特征；

將每個層級的所述具有互補性的特征輸入所述邊緣信息蒸餾網絡層，生成邊緣感知特征；

將所述RGB編碼特征與所述邊緣感知特征輸入邊緣信息引導的特征網絡，生成具有邊緣感知的高級語義特征；

對所述融合特征及所述高級語義特征進行上采樣，采用逐層地融合解碼器的特征，生成所述RGB-D圖像對應的語義分割結果。