[發明專利]一種基于3D視覺的點云關鍵點提取方法

在審

• 申請號: 202110567048.0
• 申請日: 2021-05-24
• 公開（公告）號: CN113450269A
• 公開（公告）日: 2021-09-28
• 發明（設計）人: 段晉軍;伍春宇;戴振東;劉正權;賓一鳴;李炳銳
• 申請（專利權）人: 南京航空航天大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T7/50;G06K9/62
• 代理公司: 南京業騰知識產權代理事務所(特殊普通合伙) 32321
• 代理人: 李靜

1.一種基于3D視覺的點云關鍵點提取方法，其特征在于，包括以下步驟：

S10、通過深度攝像頭拍攝得到復雜異構件的深度圖和顏色圖圖像，利用公式進行坐標轉換；利用深度圖和顏色圖合成得到點云圖和點云數據；

S20、進行統計濾波處理，對點云內每一個點的鄰域進行統計分析，計算它到所有臨近點的平均距離；平均距離超出標準范圍的點定義為離群點，并從數據中去除；

S30、在點云經統計濾波后，計算點云內每個點處的法向量變化程度，選取法向量變化程度較大的點作為特征點，法向量變化程度即為特征度；特征度變化越大，構件表面起伏越大；

S40、計算每一個特征點的SPFH值，并選擇一個特征點作為源點云關鍵點，將該源點云關鍵點與其近鄰匹配并不斷重復，通過近鄰SPFH的值不停的改變權重，生成該源點云關鍵點的快速特征點直方圖；將需要提取的復雜異構件的特征點定義為目標點云關鍵點，生成目標點云關鍵點的快速特征點直方圖；利用直方圖的統計特性，為源點云關鍵點和目標點云關鍵點建立用于描述其局部區域幾何特征的特征向量；

S50、計算源點云關鍵點特征向量和目標點云關鍵點特征向量之間的歐式距離；根據源點云關鍵點的特征點直方圖和目標點云的特征點直方圖，得到源點云關鍵點Kd-tree和目標點云關鍵點Kd-tree；基于關鍵點點云配準方方法，計算獲得源點云關鍵點和目標點云關鍵點坐標轉換矩陣。

2.根據權利要求1所述的一種基于3D視覺的點云關鍵點提取方法，其特征在于，所述S10中，坐標轉換公式如下：

x_w＝z_c*(u-u₀)*d_x(d_y)(d_z)/f

其中，x_w為世界坐標系下的坐標，u為圖像的中心坐標在世界坐標系下的坐標，u₀為圖像的中心坐標，z_c為相機坐標系的z軸值(即目標物體到相機的距離)，d_x、d_y、d_z為成像元件的每個像素對應的物理寬高，f為相機焦距。

3.根據權利要求1所述的一種基于3D視覺的點云關鍵點提取方法，其特征在于，所述S30中，特征度計算公式如下：

其中：θ_ij為近鄰點法向量夾角，f_i為點云內某一點處的特征值，k為近鄰點的個數。

4.根據權利要求1所述的一種基于3D視覺的點云關鍵點提取方法，其特征在于，所述S40包括以下步驟：

S4001、給定一個特征點作為源點云關鍵點，計算其經法線分解后的角度差值，并將其定義為SPFH；

S4002、使用加權的臨近SPFH計算快速特征點直方圖的最終值：

其中，w_k為權重即代表了兩點的距離，FPFH(P_q)即關鍵點快速特征直方圖，SPFH為簡化的點特征直方圖，k為近鄰點的個數。

5.根據權利要求1所述的一種基于3D視覺的點云關鍵點提取方法，其特征在于，所述S50中，歐式距離計算公式如下：

S_i＝(S_i1 S_i2 ... S_i120)

T_j＝(T_j1 T_j2 ... T_j120)

其中，S_i為源點云關鍵點特征向量，T_j為目標點云關鍵點特征向量，d(S_i，T_j)為兩特征向量之間的歐式距離，p為第p個關鍵點特征向量。

6.根據權利要求5所述的一種基于3D視覺的點云關鍵點提取方法，其特征在于，所述S50中，計算源點云關鍵點和目標點云關鍵點坐標轉換矩陣包括以下步驟：

S5001、在目標點云關鍵點Kd-tree內搜索源點云關鍵點的最鄰近點及其距離，若距離小于固定閾值，則將此點加入第一預對應關系集合；

S5002、在源點云關鍵點Kd-tree內搜索目標點云關鍵點的最鄰近點及其距離，若距離小于固定閾值，則將此點對加入第二預對應關系集合；

S5003、取第一預對應關系集合和第二預對應關系集合的交集作為初始對應關系，交集為第一預對應關系集合和第二預對應關系集合中相同的對應關系；

S5004、根據初始對應關系，采用隨機采樣一致性進行錯誤關系對應去除，從已獲得的對應關系中隨機地選擇三組對應關系，根據這三組對應關系計算源點云關鍵點到目標點云關鍵點的坐標變換矩陣，計算所有對應關系的源點云中點坐標變換后與目標點云中對應點的距離偏差，若偏差小于設定閾值，此對應關系屬于模型內樣本，否則屬于模型外樣本；

S5005、保存所有內樣本，重復上面過程，統計每組對應關系屬于內樣本的次數，直到迭代次數達到設定值(設定值取決于想得到的精度，設定值越大，精度越高)，迭代結束，得到最終對應關系集合，找到屬于內樣本次數最大的三組對應關系，使用奇異值分解計算源點云關鍵點和目標點云關鍵點的坐標變換矩陣。