[發明專利]一種基于RGB-D的室內場景逐像素語義分類器構造方法及系統

有效

• 申請號: 202110498856.6
• 申請日: 2021-05-08
• 公開（公告）號: CN113222003B
• 公開（公告）日: 2023-08-01
• 發明（設計）人: 周鋒;張鳳全;蔡興泉
• 申請（專利權）人: 北方工業大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V20/70;G06V10/80;G06V10/40;G06V10/26;G06V10/82;G06N3/045;G06N3/082
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 江亞平

本發明涉及一種基于RGB?D的室內場景逐像素語義分類器構造方法及系統，其方法包括：S1：對室內場景進行圖像采集，獲取RGB數據和Depth數據；S2：定義圖像中的物體類別，并對其每一個像素進行類別標注；S3：將RGB數據和Depth數據，分別輸入特征提取模塊，同時將RGB數據輸入深度估計模塊，對RGB數據特征提取過程進行監督，得到對應的特征fsubgt;rgb/subgt;和fsubgt;depth/subgt;；S4：將fsubgt;rgb/subgt;和fsubgt;depth/subgt;輸入尺度感知模塊，得到尺度感知特征和S5：將和分別輸入自注意力機制模塊，獲得特征和特征S6：將和輸入模態自適應模塊，計算模態自適應權重，利用模態自適應權重，融合和得到圖像的逐像素語義分類。本發明可以應用在室內場景的理解上，利用采集到的RGB?D圖像逐像素語義信息，可以有效的幫助室內自動導航等應用。

技術領域

本發明涉及區塊鏈和機器學習領域，具體涉及一種基于RGB-D的室內場景逐像素語義分類器構造方法及系統。

背景技術

近年來，室內場景語義理解相關研究成果已經在不同領域得到了廣泛的應用，包括安防領域中的突發事件預演，智能機器人領域中的定位、避障、目標找尋功能等，成為虛擬現實和增強現實等領域研究的熱點問題，為人們的日常生活和工作帶來了諸多便利。然而室內場景由于其光線灰暗、物體互相交疊等情況，使得室內場景的語義理解具有極大的挑戰性，該研究一直是計算機圖形學、虛擬現實、計算機視覺等領域一個基礎且經典的問題。

場景語義分割屬于一種像素級別的圖片分類任務，給定一幅圖片I，假設其大小為w'×h'，場景語義分割算法的目標是輸出一張大小為w'×h'的結果圖，該圖中的任意一個像素點對應I中的相應位置像素，x_i,j的值表示對應I中的相應位置像素對應的標簽類別，其中i,j表示圖中第(i,j)個位置。基于圖像的語義分割是室內場景語義理解的必備前提。目前對于圖像的語義分割研究已經開展了廣泛而深入的研究，具體來說，有基于人工特征的方法以及基于深度學習的方法。基于人工特征的方法，主要是對輸入的圖像數據提取魯棒人工特征。根據利用特征方式的不同，大致有以下幾種類型方法：基于人為設定閾值的圖像分割方法：例如對輸入圖像使用閾值的方式(均值方法、直方圖相關技術以及視覺技術等)去解決圖像分割問題，但是該方法對于圖像中的同質區域處理效果較弱；基于分水嶺算法：通過在原始梯度圖像上使用分水嶺算法可以得到較好的分割效果，但是該算法需要事先求解圖像的梯度圖，需要一個較為復雜的前期處理。隨著深度學習的發展，大量基于深度神經網絡的算法被提出。例如FCN算法，通過將經典的AlexNet網絡最后一層修改為1×1卷積，很好的實現了對輸入圖像中的逐像素進行分類。后續關于圖像語義分割的算法絕大多數都是基于FCN改進得到的。但是，這些算法無法有效地提取RGB特征和Depth特征，并利用這些特征來達到較好的室內場景語義分割效果。

發明內容

為了解決上述技術問題，本發明提供一種基于RGB-D的室內場景逐像素語義分類器構造方法及系統。

本發明技術解決方案為：一種基于RGB-D的室內場景逐像素語義分類器構造方法，包括：

步驟S1：對室內場景進行圖像采集，獲取RGB數據和Depth數據；

步驟S2：定義所述圖像中的物體類別，并對其每一個像素進行類別標注；

步驟S3：將所述RGB數據和Depth數據，分別輸入特征提取模塊，同時將所述RGB數據輸入深度估計模塊，利用該模塊對RGB數據特征提取過程進行監督，得到對應的特征f_rgb和f_depth；

步驟S4：將所述f_rgb和所述f_depth輸入尺度感知模塊，以選擇合適的尺度特征信息，并得到尺度感知特征和

步驟S5：將所述和所述分別輸入自注意力機制模塊，進行感受野擴大化，獲得特征和特征