[發明專利]基于單目標三維重建的工件快速識別與定位方法

在審

• 申請號: 201910199355.0
• 申請日: 2019-03-15
• 公開（公告）號: CN109948514A
• 公開（公告）日: 2019-06-28
• 發明（設計）人: 徐顯兵;彭成斌;肖江劍;李現;張加煥
• 申請（專利權）人: 中國科學院寧波材料技術與工程研究所
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06T17/00
• 代理公司: 南京利豐知識產權代理事務所(特殊普通合伙) 32256
• 代理人: 趙世發;王鋒

本發明公開了一種基于單目標三維重建的工件快速識別與定位方法，其包括如下步驟：a)渲染工件三維模型，獲取工件在設定三維坐標系中不同角度的圖片作為訓練圖像，擴充訓練集,將點云格式的三維模型轉化為體素格式放入訓練集；b)將二維圖片與相應的三維模型進行匹配作為訓練集；c)將所述訓練集內的圖像輸入進行訓練；d)訓練完成后，保存權重，輸入從相機中獲取的單幀圖像進行測試，重建出整個三維模型。本發明將單目標三維重建算法應用于工業生產中，通過單幀圖像獲取其三維模型，達到抓取與裝配的目的；相比于目標檢測算法，本發明的網絡不需要任何的圖像注釋或對象類標簽，效率比更高，準確度更高，魯棒性更好。

技術領域

本發明涉及一種深度學習算法與圖像渲染技術，特別涉及一種基于單目標三維重建的工件快速識別與定位方法。

背景技術

在工業生產中，工件的自動抓取與裝配問題困擾著許多制造商。傳統的機械臂主要基于手動預定義的操作，并且具有較差的適應性和對復雜任務的低抗干擾能力。因此，它的應用非常有限。如今，制造商必須面對的工件通常具有不規則的形狀和結構，具有各種姿態和位置。隨著勞動力成本的增加和現代制造業的發展，傳統機器人系統已不能滿足工廠生產的需要。工件的自動識別抓取問題成為了生產線上的一個難點與熱點。讓機器人擁有像人一樣的視覺能力，就能夠很好的克服這些困難，并且減少失誤率，減少工業生產中的人工成本。

機器視覺與目標檢測技術密切相關，近年來深度學習技術已廣泛運用到目標檢測中，與傳統的機器視覺和物體檢測算法相比，深度學習具有更強大的計算性能，更廣泛的應用范圍和更好的實際效果。2014年，Ross Girshick等人提出了基于CNN特征圖(CNN區域，R-CNN)的區域定位網絡結構模型。將檢測問題轉化為分類問題，并在圖像分類中取得了顯著成功。隨后Fast R-CNN、Faster R-CNN、SSD、YOLO等算法的出現，使得目標檢測技術日益成熟，工件的分類與定位問題可以很好的解決，但要實現工件的自動裝配，還需獲得工件的三維姿態信息，這就成為了這整個抓取裝配過程中的技術難題。

發明內容

本發明的主要目的在于提供一種基于單目標三維重建的工件快速識別與定位方法，該方法可以通過單幀圖片獲取與之對應的工件三維模型，從而實現工件的自動抓取與裝配，進而克服現有技術中的不足。

為實現前述發明目的，本發明采用的技術方案包括：

本發明實施例提供了一種基于單目標三維重建的工件快速識別與定位方法，其包括如下步驟：

a)渲染工件三維模型，獲取工件在設定三維坐標系中不同角度的圖片作為訓練圖像，擴充訓練集，將點云格式的三維模型轉化為體素格式放入訓練集；

b)將二維圖片與相應的三維模型進行匹配作為訓練集；

c)將所述訓練集內的圖像輸入訓練網絡進行訓練；

d)訓練完成后，保存權重，輸入獲取的單幀圖像進行測試，重建出整個三維模型。

在一些較為具體的實施方案中，步驟a)包括：將每一幅所述訓練圖像按照使工件繞所述設定三維坐標系的X、Y、Z軸旋轉的角度進行標注，進行制作訓練集。

在一些較為具體的實施方案中，步驟a)包括：定義選定姿勢為參考取值，對應于該選定姿勢，工件繞所述設定三維坐標系中X、Y、Z軸旋轉的角度都為0°；以及，獲取工件繞X軸、Y軸旋轉-15°～14°以及繞Z軸旋轉0°～90°的圖片作為訓練圖像。

在一些較為具體的實施方案中，步驟c)包括：通過核心模塊(3D ConvolutionalLSTM)對所述訓練集內的圖像輸入進行訓練。

在一些較為具體的實施方案中，步驟c)包括：

i、設置訓練網絡，所述訓練網絡包括編碼器、核心模塊(3D Convolutional LSTM)和解碼器；