[發明專利]一種基于區域分割的平行四邊形編碼標志的解碼方法

有效

• 申請號: 202110392326.3
• 申請日: 2021-04-13
• 公開（公告）號: CN113129396B
• 公開（公告）日: 2022-10-14
• 發明（設計）人: 殷玉龍;朱華炳;楊霈;楊昭輝
• 申請（專利權）人: 合肥工業大學
• 主分類號: G06T9/20
• 分類號: G06T9/20;G06T5/30;G06T7/11;G06T7/136;G06T7/187;G06T7/62;G06T7/66
• 代理公司: 合肥律通專利代理事務所(普通合伙) 34140
• 代理人: 趙春海

1.一種基于區域分割的平行四邊形編碼標志的解碼方法，以所述平行四邊形編碼標志的四個頂點作為特征角點，在視覺結構光三維測量過程中，用于目標曲面的三維點云拼接；編碼方格的表面設置有平行四邊形背景圖案和編碼圖案，所述編碼圖案位于平行四邊形背景圖案的內部，所述編碼圖案包括定位圖案、定向圖案和編碼標志圖案，所述定向圖案和定位圖案用于平行四邊形編碼標志方向的判斷，所述編碼標志圖案用于平行四邊形編碼標志各個角點的編碼，其特征在于：利用數字圖像處理的方法獲得攝像機拍攝的包含N個平行四邊形編碼標志的圖像中每個特征角點的編碼序號和亞像素坐標，進而完成平行四邊形編碼標志解碼的步驟如下：

步驟1.1、利用攝像機拍攝空間中放置的N個平行四邊形編碼標志，獲得編碼標志圖像，所述編碼標志圖像當中包含N個平行四邊形編碼標志；

步驟1.2、建立角點的像素坐標系；

步驟2.1、對編碼標志圖像進行8位灰度處理，得到編碼標志灰度圖像P₁；

步驟2.2、對編碼標志灰度圖像P₁進行復制備份，得到編碼標志灰度備份圖像P₁′；

步驟2.3、對編碼標志灰度備份圖像P₁′進行二值化處理，得到編碼標志二值化圖像P₂；

步驟3、設定黑色連通域圓度閾值λ′，像素點個數閾值λ″；

步驟4.1、計算編碼標志二值化圖像P₂中所有黑色連通域的圓度值λ_n和像素點個數c_n，其中每個黑色連通域的圓度值由式(1)得出，

其中，l_n代表對應黑色連通域輪廓的周長，s_n代表對應黑色連通域的面積，n＝1，2，3，4...；

步驟4.2、選擇合適的黑色連通域圓度閾值λ′和像素點個數閾值λ″以在編碼標志二值化圖像P₂中獲得N個平行四邊形編碼標志中各自所對應的N個定向圓環中心的黑色連通域，并放入圓環黑色連通域集合A′中；

其中，編碼標志二值化圖像P₂中的各個圓環黑色連通域的圓度值均小于圓度閾值λ′，且各個圓環黑色連通域的像素點個數均大于像素點個數閾值λ″；

步驟4.3、取整數變量i并賦值i＝1；

步驟4.4、計算圓環黑色連通域集合A′中的第i個圓環黑色連通域M_i的質心像素坐標并記為o″_d,i(x″_d,i,y″_d,i)，將得到的第i個圓環黑色連通域M_i的質心像素坐標o″_d,i(x″_d,i,y″_d,i)作為圓環黑色連通域質心集合A的第i元素；

步驟4.5、判斷i是否小于N，若i＜N，則將i+1賦值給i，返回步驟4.4順序執行；否則，即獲得了編碼標志二值化圖像P₂中各個圓環黑色連通域的質心像素坐標o″_d,1(x″_d,1,y″_d,1)、o″_d,2(x″_d,2,y″_d,2)、…、o″_d,N(x″_d,N,y″_d,N)，并依次放入圓環黑色連通域質心集合A中；

步驟5、取整數變量ζ并賦值ζ＝1；

步驟6.1、將編碼標志二值化圖像P₂進行兩次復制備份，分別得到第ζ組第1個備份二值化圖像P′_ζ,1和第ζ組第2個備份二值化圖像P′_ζ,2；

步驟6.2、利用去除編碼標志復雜背景算法對第ζ組第1個備份二值化圖像P′_ζ,1進行數字圖像處理，得到第ζ個無復雜背景平行四邊形二值化圖像P″_ζ,1；

步驟7.1、對編碼標志灰度圖像P₁再次進行復制備份，獲得第ζ個備份灰度圖像P_ζ″′；

步驟7.2、利用角點檢測算法在第ζ個無復雜背景平行四邊形二值化圖像P″_ζ,1中提取4個角點的亞像素坐標，并記為第ζ個無復雜背景平行四邊形二值化圖像P″_ζ,1上的4個備選角點C″_ζ,1(x″_ζ,1,y″_ζ,1)、C″_ζ,2(x″_ζ,2,y″_ζ,2)、C″_ζ,3(x″_ζ,3,y″_ζ,3)、C″_ζ,4(x″_ζ,4,y″_ζ,4)；

步驟7.3、在第ζ個無復雜背景平行四邊形二值化圖像P″_ζ,1中做黑色連通域腐蝕，使得第ζ個無復雜背景平行四邊形二值化圖像P″_ζ,1中的白色連通域擴大；并將處理所得的圖像記為第ζ個運算二值化圖像P″_ζ,2；

步驟7.4、將第ζ個運算二值化圖像P″_ζ,2中灰度值為255的部分的值置為1，將第ζ個運算二值化圖像P″_ζ,2中灰度值為0的部分的值置為0，而后利用第ζ個運算二值化圖像P″_ζ,2和第ζ個備份灰度圖像P″′_ζ進行乘法運算，將得到的結果圖像記為第ζ個覆蓋結果圖像T_ζ；

步驟7.5、利用角點檢測算法在第ζ個覆蓋結果圖像T_ζ中提取所有角點的亞像素坐標并存入第ζ個初選角點亞像素坐標集合B_ζ中；

步驟7.6、取整數變量i并賦值i＝1；

步驟7.7、在所述第ζ個初選角點亞像素坐標集合B_ζ中尋找距離亞像素坐標值(x″_ζ,i,y″_ζ,i)最近的角點亞像素坐標并記為C′_ζ,i(x′_ζ,i,y′_ζ,i)；

步驟7.8、判斷i是否小于4，若i＜4，則將i+1賦值給i并返回執行步驟7.7；否則，此時已經獲得了第ζ個覆蓋結果圖像T_ζ上包含質心像素坐標值(x″_d,ζ,y″_d,ζ)的平行四邊形編碼標志的4個特征角點的亞像素坐標C′_ζ,1(x′_ζ,1,y′_ζ,1)、C′_ζ,2(x′_ζ,2,y′_ζ,2)、C′_ζ,3(x′_ζ,3,y′_ζ,3)、C′_ζ,4(x′_ζ,4,y′_ζ,4)，且執行步驟8.1；

步驟8.1、在第ζ組第2個備份二值化圖像P′_ζ,2上，將包含質心像素坐標值(x″_d,ζ,y″_d,ζ)的平行四邊形編碼標志記為第ζ個平行四邊形編碼標志；

步驟8.2、在第ζ組第2個備份二值化圖像P′_ζ,2上，選取亞像素坐標值分別為(x′_ζ,1,y′_ζ,1)、(x″_ζ,2,y′_ζ,2)、(x′_ζ,3,y′_ζ,3)、(x′_ζ,4,y′_ζ,4)的4個像素點作為第ζ個平行四邊形編碼標志的角點平行四邊形S_ζ的4個頂點，將4個頂點相連進而獲得第ζ個平行四邊形編碼標志的角點四邊形S_ζ；

步驟9、在第ζ組第2個備份二值化圖像P′_ζ,2上，尋找距離質心像素坐標值(x″_d,ζ,y″_d,ζ)最近的白色連通域，并將此白色連通域的灰度值賦值為0；

步驟10、在第ζ組第2個備份二值化圖像P′_ζ,2上，第ζ個平行四邊形編碼標志的角點四邊形S_ζ內部的所有像素點的灰度值保持不變，將第ζ個平行四邊形編碼標志的角點四邊形S_ζ以外的所有像素點的灰度值賦值為255；

步驟11.1、在第ζ組第2個備份二值化圖像P′_ζ,2上，提取第ζ個平行四邊形編碼標志的角點四邊形S_ζ中所有的內、外輪廓，記為第ζ個平行四邊形編碼標志內的輪廓集合D_ζ；

步驟11.2、統計第ζ個平行四邊形編碼標志內的輪廓集合D_ζ內每個輪廓包含的像素點數，將包含像素點數第二多的輪廓記為第ζ組第2個備份二值化圖像P′_ζ,2上第ζ個平行四邊形編碼標志內的定位圓輪廓G_ζ，計算其質心像素坐標并記為第ζ組第2個備份二值化圖像P′_ζ,2上第ζ個平行四邊形編碼標志內的定位圓質心像素坐標o′_l,ζ(x′_l,ζ,y′_l,ζ)；

步驟12.1、根據第ζ個平行四邊形編碼標志內的輪廓集合D_ζ中，除去包含像素點數最多的兩個輪廓，判斷剩余輪廓個數κ_ζ的大小，分為如下情況：若κ_ζ＝＝0，則執行步驟13；否則這κ_ζ個輪廓即為第ζ個平行四邊形編碼標志內編碼標志圓的輪廓，分別記為編碼標志圓編碼標志圓…、編碼標志圓

步驟12.2、給整數變量i并賦予初值i＝1；

步驟12.3、在第ζ組第2個備份二值化圖像P′_ζ,2上，計算編碼標志圓輪廓的質心將i+1重新賦值給i后繼續執行此步驟，直到i＞κ_ζ結束；由此可以得到對應編碼標志圓編碼標志圓編碼標志圓的質心像素坐標

步驟13.1、在第ζ組第2個備份二值化圖像P′_ζ,2上，記在第ζ個平行四邊形編碼標志中位于第1編碼區域、第3編碼區域、第4編碼區域和第6編碼區域的特征角點的亞像素坐標分別為C_ζ,1(x_ζ,1,y_ζ,1)、C_ζ,2(x_ζ,2,y_ζ,2)、C_ζ,3(x_ζ,3,y_ζ,3)、C_ζ,4(x_ζ,4,y_ζ,4)；并在第ζ組第2個備份二值化圖像P′_ζ,2上，將像素坐標值為的(x″_d,ζ,y″_d,ζ)的像素點記為第ζ組第2個備份二值化圖像P′_ζ,2上第ζ個平行四邊形編碼標志的定向圓環質心o′_d,ζ(x′_d,ζ,y′_d,ζ)，并將亞像素坐標值為(x′_ζ,1,y′_ζ,1)、(x′_ζ,2,y′_ζ,2)、(x′_ζ,3,y′_ζ,3)、(x′_ζ,4,y′_ζ,4)的4個像素點分別記為C_ζ″′_,1(x″′_ζ,1,y″′_ζ,1)、C″′_ζ,2(x″′_ζ,2,y″′_ζ,2)、C″′_ζ,3(x″′_ζ,3,y″′_ζ,3)、C″′_ζ,4(x″′_ζ,4,y″′_ζ,4)；

步驟13.2在第ζ組第2個備份二值化圖像P′_ζ,2上，第ζ個平行四邊形編碼標志中的方向向量由公式(2)得出，同時記通過定位圓質心o′_l,ζ和定向圓環質心o′_d,ζ的直線為l_ζ,3；

步驟14、在第ζ組第2個備份二值化圖像P_ζ′_,2上，找出4個像素點C″′_ζ,1(x″′_ζ,1,y″′_ζ,1)、C″′_ζ,2(x″′_ζ,2,y″′_ζ,2)、C″′_ζ,3(x″′_ζ,3,y″′_ζ,3)、C″′_ζ,4(x″′_ζ,4,y″′_ζ,4)中距離定位圓質心的像素坐標o′_l,ζ(x′_l,ζ,y′_l,ζ)最近的2個像素點，分別記為C_ζ,1min(x_ζ,1min,y_ζ,1min)和C_ζ,2min(x_ζ,2min,y_ζ,2min)；

通過公式(3)和(4)計算出在第ζ個平行四邊形編碼標志中的第1判斷向量和第2判斷向量并通過式(5)和式(6)計算出第1區域劃分正弦值sinα_ζ和第2區域劃分正弦值sinβ_ζ；

步驟15、在第ζ組第2個備份二值化圖像P′_ζ,2上，將余下的2個像素點的亞像素坐標值分別賦值給第ζ個平行四邊形編碼標志的臨時坐標值1，記為C′_ζ,5(x′_ζ,5,y′_ζ,5)，以及臨時坐標值2，記為C′_ζ,6(x′_ζ,6,y′_ζ,6)；

根據公式(7)和(8)求出在第ζ個平行四邊形編碼標志中的第3判斷向量和第4判斷向量

步驟16、根據第3判斷向量和第4判斷向量通過式(9)和式(10)得出第3區域劃分正弦值sinω_ζ和第4區域劃分正弦值sinξ_ζ；

根據sinω_ζ和sinξ_ζ的取值情況，將C′_ζ,5(x′_ζ,5,y′_ζ,5)或C′_ζ,6(x′_ζ,6,y′_ζ,6)的亞像素坐標值賦值給C_ζ,2(x_ζ,2,y_ζ,2)或C_ζ,3(x_ζ,3,y_ζ,3)；

步驟17、在第ζ組第2個備份二值化圖像P′_ζ,2，由公式(11)得出第ζ個平行四邊形編碼標志中的第5判斷向量

在第ζ組第2個備份二值化圖像P″′_ζ,2上，以第ζ個平行四邊形編碼標志中的定位圓質心o′_l,ξ(x′_l,ζ,′y_l,ζ)為起點做與第5判斷向量平行且同向的單位向量，記為以第ζ個平行四邊形編碼標志中定向圓環質心o′_d,ζ(x′_d,ζ,y′_d,ζ)為起點做與第5判斷向量平行且同向的單位向量，記為

步驟18、定義6個浮點型二維數組用于存放第ζ個平行四邊形編碼標志中分別位于第1編碼區域、第2編碼區域、第3編碼區域、第4編碼區域、第5編碼區域和第6編碼區域的編碼標志圓輪廓質心在第ζ組第2個備份二值化圖像P′_ζ,2上的像素坐標，初始化這6個二維數組中的所有元素，且賦值為-1；另外取6個整數變量并將其初始化，取整數變量i并賦值i＝1；

步驟19、在第ζ組第2個備份二值化圖像P′_ζ,2上，根據式(12)、式(13)計算出第ζ個平行四邊形編碼標志中編碼標志圓輪廓的質心像素坐標分別與定位圓質心o′_l,ζ和定向環質心o′_d,ζ所形成的第i組第1個象限向量和第i組第2個象限向量

根據計算得出的第i組第1個象限向量和第i組第2個象限向量單位向量與以及方向向量通過式(14)、式(15)、式(16)、式(17)計算

根據的取值情況判斷編碼標志圓所屬的編碼區域；

步驟20、定義為第ζ個平行四邊形編碼標志中第λ編碼區域中第w位編碼標志圓的編碼值，其中，λ＝1,2,3,4,5,6，w＝1,2，取0或1；取整數變量i，給i重新賦予初值i＝1；

步驟21、獲得第ζ個平行四邊形編碼標志中所有編碼標志圓的編碼取值

步驟22、根據第ζ個平行四邊形編碼標志中所有編碼標志圓的編碼取值由公式(18)求出第ζ個平行四邊形編碼標志的編碼號W_ζ；

W_ζ＝V_ζ^T·U (18)

其中，列向量U＝(2⁰,2¹,2²,...2¹¹)^T，列向量

步驟23、記第ζ個平行四邊形編碼標志中屬于第σ編碼區域的特征角點的編碼號為其中W_ζ為標定角點所屬編碼方格的編號，σ的取值代表標定角點所屬的第σ編碼區域，其中σ＝1，2，3，4；

至此獲得了第ζ個平行四邊形編碼標志中4個特征角點各自的編碼號與其相應的亞像素坐標值：

編碼號為的特征角點的亞像素坐標值為(x_ζ,1,y_ζ,1)；

編碼號為的特征角點的亞像素坐標值為(x_ζ,2,y_ζ,2)；

編碼號為的特征角點的亞像素坐標值為(x_ζ,3,y_ζ,3)；

編碼號為的特征角點的亞像素坐標值為(x_ζ,4,y_ζ,4)；

步驟24、判斷ζ是否小于N，若滿足，則將ζ+1重新賦值給ζ，并返回步驟6.1順序執行；若不滿足，則已經找到每個平行四邊形編碼標志上4個特征角點的亞像素坐標值和對應的編碼號。