[發明專利]一種物體的定位方法、裝置及計算機系統

在審

• 申請號: 201911396145.7
• 申請日: 2019-12-30
• 公開（公告）號: CN111179340A
• 公開（公告）日: 2020-05-19
• 發明（設計）人: 劉水清;楊現;孫皓
• 申請（專利權）人: 蘇寧云計算有限公司
• 主分類號: G06T7/70
• 分類號: G06T7/70;G06T7/80;G06T7/33
• 代理公司: 北京市萬慧達律師事務所 11111
• 代理人: 顧友

1.一種物體的定位方法，其特征在于，所述方法包括：

接收彩色圖像及所述彩色圖像對應的深度圖像；

將所述彩色圖像及所述深度圖像進行圖像融合，獲得目標圖像，所述目標圖像為RGBD圖像，所述目標圖像的Alpha通道對應所述深度圖像、RGB通道對應所述彩色圖像；

將所述目標圖像輸入預設模型進行識別，定位所述目標圖像中目標物體的位置，所述預設模型的輸入層包含RGB通道及Alpha通道。

2.根據權利要求1所述的方法，其特征在于，將所述彩色圖像及所述深度圖像進行圖像融合前，所述方法還包括：

按照預設方法及預設參數，對所述深度圖像進行圖像歸一化操作。

3.根據權利要求2所述的方法，其特征在于，將所述彩色圖像及所述深度圖像進行圖像融合前，所述方法還包括：

對歸一化后的所述深度圖像及所述彩色圖像進行圖像配準。

4.根據權利要求3所述的方法，其特征在于，所述彩色圖像由第一相機拍攝，所述深度圖像由第二相機拍攝，所述對所述彩色圖像及所述深度圖像進行圖像配準包括：

使用棋盤格法，對所述第一相機及所述第二相機進行相機標定，獲得所述第一相機及所述第二相機對應的變換矩陣；

根據所述變換矩陣，對所述彩色圖像及所述深度圖像進行圖像配準。

5.根據權利要求1-3任一所述的方法，其特征在于，將所述目標圖像輸入預設模型進行識別前，所述方法還包括：

對所述目標圖像進行數據增強。

6.根據權利要求1-3任一所述的方法，其特征在于，所述預設模型的訓練過程包括：

獲取訓練圖像集，所述圖像集由對樣本目標進行了預先標注的彩色圖像及所述彩色圖像對應的深度圖像組成；

對所述深度圖像進行圖像歸一化操作，并轉換為預設格式；

對所述彩色圖像及對應的所述深度圖像進行圖像配準；

將所述深度圖像及對應的所述彩色圖像進行圖像融合，獲得測試圖像，所述測試圖像為RGBD圖像，所述測試圖像的Alpha通道對應所述深度圖像、RGB通道對應所述彩色圖像；

將所述測試圖像作為目標模型的輸入，對應的預先標注的所述樣本目標作為所述目標模型的預期輸出，不斷地對所述目標模型進行訓練，直至所述目標模型滿足預設條件。

7.根據權利要求6所述的方法，其特征在于，所述目標模型通過如下方式獲得：

將Yolov3模型的輸入層修改為四個通道，獲得改進后的所述Yolov3模型，所述輸入層包含RGB通道及Alpha通道；

根據預設的裁剪參數，對改進后的所述Yolov3模型的backbone網絡進行裁剪，獲得目標模型。

8.一種物體的定位裝置，其特征在于，所述裝置包括：

接收模塊，用于接收彩色圖像及所述彩色圖像對應的深度圖像；

圖像處理模塊，用于將所述彩色圖像及所述深度圖像進行圖像融合，獲得目標圖像，所述目標圖像為RGBD圖像，所述目標圖像的Alpha通道對應所述深度圖像、RGB通道對應所述彩色圖像；

匹配模塊，用于將所述目標圖像輸入預設模型進行識別，定位所述目標圖像中目標物體的位置，所述預設模型的輸入層包含RGB通道及Alpha通道。

9.根據權利要求8所述的裝置，其特征在于，所述圖像處理模塊還可用于對所述彩色圖像及所述深度圖像進行圖像配準。

10.一種計算機系統，其特征在于，所述系統包括：

一個或多個處理器；

以及與所述一個或多個處理器關聯的存儲器，所述存儲器用于存儲程序指令,所述程序指令在被所述一個或多個處理器讀取執行時，執行如下操作：

接收彩色圖像及所述彩色圖像對應的深度圖像；

將所述彩色圖像及所述深度圖像進行圖像融合，獲得目標圖像，所述目標圖像為RGBD圖像，所述目標圖像的Alpha通道對應所述深度圖像、RGB通道對應所述彩色圖像；

將所述目標圖像輸入預設模型進行識別，定位所述目標圖像中目標物體的位置。