[發明專利]一種基于深度學習的單目相機物體位姿估計方法及裝置

有效

• 申請號: 201910043902.6
• 申請日: 2019-01-17
• 公開（公告）號: CN109816725B
• 公開（公告）日: 2023-03-14
• 發明（設計）人: 劉振;范曉東;王亞運;程棟梁;金霞紅;趙福臣
• 申請（專利權）人: 合肥哈工慧揀智能科技有限公司
• 主分類號: G06T7/73
• 分類號: G06T7/73
• 代理公司: 合肥市浩智運專利代理事務所(普通合伙) 34124
• 代理人: 丁瑞瑞

本發明公開了一種基于深度學習的單目相機物體位姿估計方法，方法包括：1)、根據所獲取的物體的三維圖像在二維空間內的投影以及投影對應的物體坐標以及物體的標簽文件生成訓練集和驗證集；2)、利用級聯卷積神經網絡模型學習訓練集，并迭代超參數；3)、使用測試集測試訓練后的級聯卷積神經網絡模型，在訓練后的級聯卷積神經網絡模型的準確率不小于第一預設閾值時，使用所述訓練后的級聯卷積神經網絡模型進行物體位姿估計。本發明公開了一種基于深度學習的單目相機物體位姿估計裝置。應用本發明實施例，可以物體位姿估計的應用成本。

技術領域

本發明涉及一種位姿估計方法及裝置，更具體涉及一種基于深度學習的單目相機物體位姿估計方法及裝置。

背景技術

位姿估計是計算機視覺領域一個非常重要的分支，在使用傳感器估計物體位姿后用于控制機械手的運動軌跡、以及物體抓取研究發揮著極大作用(在基于傳感器估計物體位姿后用于規劃機械末端的運動軌跡、以及智能物體抓取等研究領域發揮著極大作用)。位姿估計算法是尋求現實世界和圖像投影得到的圖像之間物理關系，然后對物體的世界坐標以及三維方向進行精準估計，已經成為圖像處理領域許多應用的必需預處理操作，位姿估計精準度直接影響后續操作成功與否，其重要性在機器人分揀領域、工業生產自動化領域和動作捕獲跟蹤領域尤為突出。

位姿估計的信息捕捉需要依靠硬件傳感器，在視覺領域，位姿估計信息獲取方式為攝像機，通常使用多目視覺位姿估計和3D視覺位姿估計。受到硬件發展水平限制，現有多目和3D相機價格都比較貴，尤其后者，價格在數十萬元以上，導致目前的技術存在物體位姿估計的應用成本較高的問題。

發明內容

本發明所要解決的技術問題在于提供了一種基于深度學習的單目相機物體位姿估計方法及裝置，以解決物體位姿估計的應用成本較高的技術問題。

本發明通過以下技術方案解決上述技術問題：

本發明實施例提供了一種基于深度學習的單目相機物體位姿估計方法，所述方法包括：

1)、根據所獲取的物體處于不同姿態時的三維模型在二維空間內的投影，以及所述投影對應的物體坐標以及物體的標簽文件生成訓練集和驗證集，其中，所述標簽文件包括：物體的個數、物體的類別、物體邊界框、物體位姿關鍵點中的一種或組合；

2)、利用級聯卷積神經網絡模型學習訓練集，并迭代超參數；

3)、使用測試集測試訓練后的級聯卷積神經網絡模型，在訓練后的級聯卷積神經網絡模型的準確率不小于第一預設閾值時，使用所述訓練后的級聯卷積神經網絡模型進行物體位姿估計。

可選的，在步驟1)之前，所述方法還包括：

使用ImageNet庫對級聯卷積神經網絡模型進行預訓練。

可選的，所述步驟1)，包括：

使用投影矩陣將物體處于不同姿態時的三維模型轉換為二維圖像，其中，所述三維模型包括：含有單個物體的三維模型和含有兩個或者兩個以上的三維模型；

將所述二維圖像轉換到HSV色彩空間并剪裁掉黑色背景；

再將轉換到HSV色彩空間的二維圖像轉換到RGB色彩空間；

將轉換到RGB色彩空間的二維圖像裁剪成設定尺寸；

獲取每一個二維圖像對應的標簽文件，并將所述標簽文件對應到裁剪后的二維圖像，并將對應標簽文件后的二維圖像的集合劃分為訓練集和驗證集，其中，所述標簽文件包括：物體的個數、物體的類別、物體邊界框、物體位姿關鍵點中的一種或組合。

可選的，所述步驟2)，包括：

A：使用SSD模型提取出訓練集圖像的特征，將提取的特征、物體坐標以及物體的標簽文件輸入當前級聯卷積神經網絡進行訓練，得到預測的物體種類、物體邊界框和物體三維位姿點；