[發明專利]一種基于雙目視覺的交通標志牌三維重建方法

在審

• 申請號: 202110308082.6
• 申請日: 2021-03-23
• 公開（公告）號: CN113034671A
• 公開（公告）日: 2021-06-25
• 發明（設計）人: 楊長鴻;鄧建華;漆靜;徐凌云
• 申請（專利權）人: 成都航空職業技術學院
• 主分類號: G06T17/00
• 分類號: G06T17/00
• 代理公司: 成都正華專利代理事務所(普通合伙) 51229
• 代理人: 李蕊

1.一種基于雙目視覺的交通標志牌三維重建方法，其特征在于，包括：

S1、獲取交通標志牌的圖像，并基于雙目視差圖提取圖像中交通標志牌的輪廓；

S2、獲取交通標志牌的連續幀圖像，并基于雙目視差圖提取三維空間中同一個交通標志牌在圖像中的輪廓；

S3、在連續幀圖像中確定Host幀和Target幀；

S4、基于Target幀中的交通標志牌構建邊緣距離圖；

S5、基于雙目視差，計算Host幀觀測到的平面方程，作為初值；

S6、將Host幀的交通標志牌邊緣點作射線與S5中的平面方程相交，構建三維點，將三維點重投影到Target幀上的邊緣距離圖，重投影構建誤差函數；

S7、調整平面方程的值，改變重投影點位置，優化求解誤差函數；

S8、基于三維平面方程，獲得交通標志牌的朝向信息，并將Host幀的邊緣點，作射線與平面方程相交，得到交通標志牌三維點云圖。

2.根據權利要求1所述的基于雙目視覺的交通標志牌三維重建方法，其特征在于，所述S3在連續幀圖像中確定Host幀和Target幀，包括：從連續幀圖像中選擇1幀作為Host幀，其余幀作為Target幀。

3.根據權利要求1所述的基于雙目視覺的交通標志牌三維重建方法，其特征在于，所述S4中基于Target幀構建邊緣距離圖，包括：

計算圖像中每一個非零點像素與其最近的零點像素之間的距離，保存每一個非邊緣像素點與最近邊緣點的距離信息。

4.根據權利要求1所述的基于雙目視覺的交通標志牌三維重建方法，其特征在于，所述S5中基于雙目視差，計算Host幀觀測到的平面方程為：

Ax+By+Cz+D＝0

其中，參數A，B，C，D是描述平面空間特征的系數，參數(A，B，C)構成的矢量表示平面的法向。

5.根據權利要求1所述的基于雙目視覺的交通標志牌三維重建方法，其特征在于，所述S6中根據邊緣距離圖，重投影構建誤差函數，包括：

利用Host幀上的邊緣點，作射線與平面方程相交，交點構成三維點，將三維點再重投影回Target幀，根據邊緣距離圖和重投影點與邊緣的誤差，構建誤差函數：

其中，f(A，B，C，D)表示誤差函數是參數A，B，C，D的函數，下標i為Target幀的編號，Target共N-1幀；下標j表示投影點的序號，M_i表示第i幀的投影個數；d_ij(A，B，C，D)表示在第i幀的第j個投影點距離，投影距離是參數A，B，C，D的函數。

6.根據權利要求5所述的基于雙目視覺的交通標志牌三維重建方法，其特征在于，所述S6中平面方程的求解，包括：

S6.1、提取Host幀的交通標志牌邊緣；

S6.2、基于S6.1中的邊緣點在相機坐標系下作射線；

S6.3、射線與初值平面方程相交，得到空間三維點；

S6.4、將所得三維點通過相機投影到Target幀，得到投影點；

S6.5、改變平面方程得到不同的投影位置；

S6.6、得到三維點的投影與Target幀提取邊緣重合。

7.根據權利要求6所述的基于雙目視覺的交通標志牌三維重建方法，其特征在于，所述S6.3中射線與初值平面方程相交，得到空間三維點，聯立平面方程和相機逆投影公式，求出投影點坐標：

其中，(X_c，Y_c，Z_c)為當前坐標系下的三維點坐標，f為鏡頭焦距，f_x、f_y為x、y方向的焦距，c_x、c_y為主點，圖像的中心；(u，v)為像素位置；

在已知像素位置(u，v)和平面方程時，通過像素點做射線與平面方程相交，可得空間交點(X_c，Y_c，Z_c)，當改變空間平面方程，空間三維點也將改變。