[發明專利]一種語義場景補全系統與方法

在審

• 申請號: 201811129666.1
• 申請日: 2018-09-27
• 公開（公告）號: CN109447923A
• 公開（公告）日: 2019-03-08
• 發明（設計）人: 劉世策;胡瑜;曾一鳴;唐乾坤;金貝貝;韓銀和;李曉維
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T7/10;G06N3/04;G06N3/08
• 代理公司: 北京律誠同業知識產權代理有限公司 11006
• 代理人: 祁建國;梁揮

1.一種語義場景補全方法，其特征在于，包括：

步驟1、獲取已標注的彩色圖像和深度圖像，作為訓練數據，其中該彩色圖像和該深度圖像已標注語義分割標簽和語義場景補全標簽；

步驟2、使用該訓練數據訓練卷積神經網絡，得到語義分割模型和語義場景補全模型，將待語義場景補全的待補全圖像輸入至該語義分割模型，得到語義分割結果；

步驟3、根據拍攝該彩色圖像的相機參數和該深度圖像，得到該彩色圖像中像素和該深度圖像中體素的映射關系，根據該映射關系將該語義分割結果投影到三維空間，得到該待補全圖像的語義場景表面；

步驟4、對該語義場景表面進行離散化處理后輸入至該語義場景補全模型，得到該待補全圖像的三維結構和該待補全圖像中物體的類別，輸出該三維結構和該類別作為該待補全圖像的語義場景補全結果。

2.如權利要求1所述的語義場景補全方法，其特征在于，步驟2中該卷積神經網絡包括：圖像編碼單元和圖像解碼單元；

該圖像編碼單元，用于提取輸入圖像的特征圖；

該圖像解碼單元，用于完成該特征圖的解碼，得到與輸入圖像相同分辨率的該語義分割結果。

3.如權利要求1所述的語義場景補全方法，其特征在于，步驟3中該相機參數包括相機的內參數和相機的外參數；

該內參數包括：焦距、感光元件分辨率；

該外參數為該相機坐標系在世界坐標系下的位姿變換。

4.如權利要求1所述的語義場景補全方法，其特征在于，該步驟1還包括：對該訓練數據進行色度、飽和度和亮度的調整。

5.如權利要求1所述的語義場景補全方法，其特征在于，該待補全圖像為由待語義場景補全的彩色圖像和其對應的深度圖像組成的圖像對，該語義分割模型，在像素空間對該圖像對進行語義分割，將待語義場景補全的彩色圖像和其對應的深度圖像，兩者語義分割的結果拼接，作為該語義分割結果。

6.一種語義場景補全系統，其特征在于，包括：

訓練數據獲取模塊，用于獲取已標注的彩色圖像和深度圖像，作為訓練數據，其中該彩色圖像和該深度圖像已標注語義分割標簽和語義場景補全標簽；

模型訓練模塊，使用該訓練數據訓練卷積神經網絡，得到語義分割模型和語義場景補全模型，將待語義場景補全的待補全圖像輸入至該語義分割模型，得到語義分割結果；

映射模塊，用于根據拍攝該彩色圖像的相機參數和該深度圖像，得到該彩色圖像中像素和該深度圖像中體素的映射關系，根據該映射關系將該語義分割結果投影到三維空間，得到該待補全圖像的語義場景表面；

語義場景補全模塊，用于對該語義場景表面進行離散化處理后輸入至該語義場景補全模型，得到該待補全圖像的三維結構和該待補全圖像中物體的類別，輸出該三維結構和該類別作為該待補全圖像的語義場景補全結果。

7.如權利要求6所述的語義場景補全系統，其特征在于，模型訓練模塊中該卷積神經網絡包括：圖像編碼單元和圖像解碼單元；

該圖像編碼單元，用于提取輸入圖像的特征圖；

該圖像解碼單元，用于完成該特征圖的解碼，得到與輸入圖像相同分辨率的該語義分割結果。

8.如權利要求6所述的語義場景補全系統，其特征在于，該相機參數包括相機的內參數和相機的外參數；

該內參數包括：焦距、感光元件分辨率；

該外參數為該相機坐標系在世界坐標系下的位姿變換。

9.如權利要求6所述的語義場景補全系統，其特征在于，該訓練數據獲取模塊還包括：對該訓練數據進行色度、飽和度和亮度的調整。

10.如權利要求6所述的語義場景補全系統，其特征在于，該待補全圖像為由待語義場景補全的彩色圖像和其對應的深度圖像組成的圖像對，該語義分割模型，在像素空間對該圖像對進行語義分割，將待語義場景補全的彩色圖像和其對應的深度圖像，兩者語義分割的結果拼接，作為該語義分割結果。