[發明專利]基于編碼器-解碼器的RGB-D多尺度語義分割方法

在審

• 申請號: 202011026414.3
• 申請日: 2020-09-25
• 公開（公告）號: CN112164078A
• 公開（公告）日: 2021-01-01
• 發明（設計）人: 劉晉;謝鈺榕
• 申請（專利權）人: 上海海事大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/50;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 上海互順專利代理事務所(普通合伙) 31332
• 代理人: 成秋麗

本發明披露一種基于編碼器?解碼器的RGB?D多尺度語義分割方法。本發明對基本的編碼器?解碼器架構進行改進，將編碼器部分進行分支并引入RGB圖像和深度圖像進行特征融合，在根據對象的顏色及紋理屬性識別過程中，利用深度信息降低因具有相似外觀而產生不確定性的分割。同時，在編碼器的RGB部分采用深度可分離卷積替代傳統卷積。在解碼器部分，通過將相鄰層中前一層的輸入上采樣添加到后一層輸入的方式，保留上層中的空間信息，從而解決多尺度特征缺失問題。本發明提出的基于編碼器?解碼器的RGB?D多尺度語義分割方法，有效地提高了語義分割的準確率，且大大減少了訓練時的計算量，進一步提高了性能。

技術領域

本發明屬于計算機視覺，圖像語義分割領域，具體涉及一種基于編碼器-解碼器的RGB-D多尺度語義分割方法。

背景技術

計算機視覺是一門研究如何讓計算機從圖像和視頻中獲取高級、抽象的信息的科學。圖像語義分割問題是其中一項熱門且重大的課題，它是一個將圖像中每個像素歸于類標簽的過程，是圖像場景理解的重要基礎，具有重要的研究價值和廣闊的應用場景，例如自動駕駛、人機交互、圖像搜索引擎、增強現實、醫療圖像診斷等。

對于圖像語義分割的研究，早期的傳統語義分割是基于非監督學習的，后來逐步發展成基于機器學習，最終，深度學習正式進入圖像語義分割領域。目前，主流的圖像語義分割方法是使用全卷積神經網絡來提取圖像中的像素特征用于標簽分類的預測。全卷積神經網絡可以接受任意尺寸的輸入圖像，采用反卷積層對最后一個卷積層的特征圖進行上采樣，使它恢復到輸入圖像相同的尺寸。從而可以對每個像素都產生一個預測，同時保留了原始輸入圖像中的空間信息，最后在上采樣的特征圖上進行逐像素分類。由于上采樣生成與原圖一樣大小的預測結果，導致很難得到精細化的分割結果。

目前，以全卷積神經網絡為基礎的框架在圖像語義分割任務中存在以下幾個固有問題：

1.缺乏上下文關系的推斷：上下文關系的推斷對于復雜場景的語義分割至關重要，例如漂浮在水面上的大概率是一艘船，而不是一輛汽車。由于缺乏準確的上下文關系，會給出錯誤的判斷。

2.模糊的標簽關系：許多標簽之間是存在關系的，通過學習這種關系，我們可以對缺失的或者難以預測的標簽進行彌補和加強，例如摩天大樓的部分會被識別為建筑物的部分，顯而易見這兩種是互斥的。

3.預測不連續：不同的場景中包含任意大小的物體，尺寸很小但很重要的物體容易被忽略，而比較大的物體又易超出視野域的接收范圍，例如床單上的枕頭很容易被忽視。

發明內容

為了解決上述問題，本發明提出了一種基于編碼器-解碼器的RGB-D多尺度語義分割方法。

本發明對基本的編碼器-解碼器架構進行改進，將編碼器部分進行分支并引入RGB圖像和深度圖像進行特征融合，在根據對象的顏色及紋理屬性識別過程中，利用深度信息降低因具有相似外觀而產生不確定性的分割。同時，在編碼器的RGB部分采用深度可分離卷積替代傳統卷積。在解碼器部分，通過將相鄰層中前一層的輸入上采樣添加到后一層輸入的方式，保留上層中的空間信息，從而解決多尺度特征缺失問題。本發明提出的基于編碼器-解碼器的RGB-D多尺度語義分割方法，有效地提高了語義分割的準確率，且大大減少了訓練時的計算量，進一步提高了性能。

為了達到上述目的，本發明基于編碼器-解碼器的RGB-D多尺度語義分割方法通過以下技術方案實現：

一種基于編碼器-解碼器的RGB-D多尺度語義分割方法，包含以下步驟：

步驟1：構建RGB編碼器模塊，從RGB圖像中進行顏色特征提取。

步驟2：構建Depth編碼器模塊，從depth圖像中進行深度特征提取。

步驟3：對RGB特征和depth特征進行多模態信息融合。