[發明專利]基于CAD稀疏模板的無紋理金屬零件圖像位姿檢測方法

在審

• 申請號: 201910064180.2
• 申請日: 2019-01-23
• 公開（公告）號: CN109887030A
• 公開（公告）日: 2019-06-14
• 發明（設計）人: 何再興;趙昕玥;江智偉
• 申請（專利權）人: 浙江大學
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06K9/00;B25J9/16
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 林超

1.一種基于CAD稀疏模板的無紋理金屬零件圖像位姿檢測方法，其特征在于：

步驟1：在計算機虛擬場景下導入無紋理金屬零件的CAD模型，CAD模型中的各個頂點的三維空間坐標已知，根據需要采集的模板圖像的數量計算出虛擬相機的各個視點位置，采用虛擬相機在不同的視點位置對無紋理金屬零件的CAD模型進行拍攝獲得一系列模板圖像；

步驟2：在每一個視點位置下，對于CAD模型在計算機虛擬場景中的所有可見頂點，計算所有可見頂點在模板圖像中的二維圖像坐標，并和可見頂點在CAD模型中的三維空間坐標成對保存；

步驟3：待位姿檢測的實際無紋理金屬零件放置實際環境下，采用實際物理相機對無紋理金屬零件進行拍攝獲得實際圖像，使用線段檢測子算法對實際圖像和所有模板圖像進行處理，提取獲得實際圖像和所有模板圖像中的棱邊作為直線段并使用線束描述子進行描述，對實際圖像與每一張模板圖像進行直線段匹配，將匹配直線段最多的模板圖像作為匹配結果圖像，由匹配結果圖像和實際圖像中兩兩直線段的匹配形成各個直線段對；

步驟4：將匹配完成的直線段對的兩端端點對應匹配，生成2D-2D匹配點對，利用步驟2中保存的二維圖像坐標和三維空間坐標之間的對應關系，將2D-2D匹配點對中屬于模板圖像的點由二維圖像坐標替換為三維空間坐標，生成2D-3D點對，根據2D-3D點對使用透視n點算法計算實際無紋理金屬零件在實際圖像中的位姿。

2.根據權利要求1所述的一種基于CAD稀疏模板的無紋理金屬零件圖像位姿檢測方法，其特征在于：所述的無紋理金屬零件是表面為平面且光滑、無凹凸和紋理的多面體金屬零件。

3.根據權利要求1所述的一種基于CAD稀疏模板的無紋理金屬零件圖像位姿檢測方法，其特征在于：所述步驟1中，根據需要采集的模板圖像的數量計算出虛擬相機的各個視點位置，具體是采用以下公式計算獲得：

其中，x、y、z分別為CAD模型中的三維坐標系的三軸，x_i,y_i,z_i分別是指第i個視點的三個方向上的坐標，N是視點的總數，視線的方向均朝向零件的原點。

4.根據權利要求1所述的一種基于CAD稀疏模板的無紋理金屬零件圖像位姿檢測方法，其特征在于：所述步驟1中，采用虛擬相機在不同的視點位置對無紋理金屬零件的CAD模型進行拍攝獲得一系列模板圖像，具體包括：

以CAD模型每個表面平面的RGB三通道值被分別設置為該平面的法向量的三個分量，以CAD模型中每個表面平面的法向量n＝(x,y,z)^T創建RGB圖像時，使用RGB三通道值將該表面平面繪制到圖像中。

5.根據權利要求1所述的一種基于CAD稀疏模板的無紋理金屬零件圖像位姿檢測方法，其特征在于：所述步驟4中，將匹配完成的直線段對的兩端端點對應匹配，生成2D-2D匹配點對，具體是：直線段對中的兩條直線段分別取兩端端點，兩條直線段的同一端端點構成一對2D-2D匹配點對，從而每個直線段對獲得兩對2D-2D匹配點對。

6.根據權利要求1所述的一種基于CAD稀疏模板的無紋理金屬零件圖像位姿檢測方法，其特征在于：所述的實際無紋理金屬零件在實際圖像中的位姿輸入到機械臂進而抓取零件。