[發明專利]一種基于多模態特征融合的RGB-D圖像語義分割方法

在審

• 申請號: 202210126753.1
• 申請日: 2022-02-11
• 公開（公告）號: CN114549439A
• 公開（公告）日: 2022-05-27
• 發明（設計）人: 楊曉文;靳瑜昕;韓慧妍;張元;龐敏;韓燮
• 申請（專利權）人: 中北大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/11;G06T5/00;G06T3/40;G06N3/08;G06N3/04;G06K9/62;G06V10/44;G06V10/764;G06V10/82
• 代理公司: 太原申立德知識產權代理事務所(特殊普通合伙) 14115
• 代理人: 程園園

本發明屬于計算機視覺領域，具體涉及一種基于多模態特征融合的RGB?D圖像語義分割方法。由于RGB和深度特征的內在差異，如何更有效地融合兩種特征仍是有待解決的問題。為了解決該問題提出了注意力引導多模態交叉融合分割網絡(ACFNet)，本發明采用編碼器－解碼器結構，將深度圖編碼為HHA圖像，設計非對稱雙流特征提取網絡，RGB和深度編碼器分別以ResNet?101和ResNet?50為主干網絡，并在RGB編碼器中添加全局?局部特征提取模塊(GL)。為有效融合RGB和深度特征，提出了注意力引導多模態交叉融合模塊(ACFM)，以更好地在多階段利用融合的增強特征表示。

技術領域

本發明屬于計算機視覺領域，具體涉及一種基于多模態特征融合的RGB-D圖像語義分割方法。

背景技術

圖像語義分割是計算機視覺領域重點研究的基礎任務，目的是為圖像的每個像素分配一個類別標簽，實現像素級的場景理解，廣泛應用于醫學影像、自動駕駛、人臉識別、目標檢測等方面。一般情況下，由于室內場景環境復雜、物體雜亂且瑣碎、遮擋嚴重，對分割算法的性能要求更高且更具有挑戰性。根據是否應用深度神經網絡，圖像語義分割方法可劃分為傳統方法和基于深度學習的方法，其中傳統方法可分為基于閾值、邊緣、區域、聚類、圖論及特定理論等六類方法。而需要大量語義信息的分割任務不適合采用傳統的圖像分割方法，因此將深度學習引入到圖像分割領域的方法應運而生，此方法可以充分利用圖像的語義信息。

早期的圖像分割方法是從彩色圖像(RGB圖像)中提取特征信息進行分割。2014年Long等人提出了全卷積神經網絡(FCN)，可以使用任意尺寸的圖像作為輸入數據，是第一個實現端到端處理的分割網絡模型。FCN網絡在下采樣時圖像分辨率減少，丟失部分特征信息，分割效果不理想，針對該問題Lin等人、Ronneberger等人和Zhao等人分別提出了使用解碼器恢復圖像分辨率、結合高級語義信息和低級細節特征、聚合不同尺度的上下文信息等方法提高分割性能。RGB圖像分割的問題在于圖像只提供顏色、紋理、形狀等二維視覺信息，對于具有相似顏色、紋理的物體缺乏相應的幾何信息，容易造成許多像素分類錯誤，不能得到較好的語義分割結果，因此開啟了RGB-D圖像語義分割方法的研究。

直接將RGB和深度信息簡單地拼接或相加輸入到已存在的單模態RGB分割網絡中，雖然分割效果有所提高，但并未充分利用深度圖所提供的幾何信息，不能有效地融合RGB和深度信息。而使用兩個獨立的網絡分支分別處理RGB和深度信息，并設計特征融合模塊有利于高效利用RGB和深度特征。盡管這些方法已經取得了不錯的分割效果，但如何充分利用兩種模態之間的互補性和差異性，如何增強編碼器中信息的交互、傳遞以及特征提取能力等仍是需要深入研究的問題。

發明內容

本發明的目的是提供一種高效的RGB-D室內場景語義分割方法，引入深度圖像增強圖像特征表示，從而解決RGB圖像分割的限制性。根據端到端的RGB-D分割網絡結構，設計一種基于多模態特征融合的RGB-D室內場景語義分割網絡，高效地解決計算機視覺領域地語義分割任務。

為了達到上述目的，本發明采用了下列技術方案：

一種基于多模態特征融合的RGB-D圖像語義分割方法，包括以下步驟：

步驟1，數據預處理，將單通道的深度圖像轉化為三通道的HHA圖像；

步驟2，將RGB和HHA圖像作為輸入數據，輸入注意力引導多模態交叉融合分割網絡模型(ACFNe)，所述模型遵循編碼器-解碼器結構，所述編碼器從輸入中提取語義特征，所述解碼器采用上采樣技術恢復輸入分辨率，為每個輸入像素分配一個語義類別。

進一步，所述步驟1中HHA圖像包含更多的空間信息，三通道分別表示水平視差高于地面的高度、像素的局部表面法線、推斷的重力方向的角度。