[發明專利]基于雙目攝影測量技術的道路標志尺寸及高度自動測量方法

在審

• 申請號: 202010086065.8
• 申請日: 2020-02-13
• 公開（公告）號: CN111288890A
• 公開（公告）日: 2020-06-16
• 發明（設計）人: 羅文婷;胡輝;劉樂璇;陳澤斌;李林
• 申請（專利權）人: 福建農林大學
• 主分類號: G01B11/00
• 分類號: G01B11/00;G01B11/02;G01B11/06;G06K9/62;G06T7/55;G06T7/60;G06T7/73
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 丘鴻超;蔡學俊

1.一種基于雙目攝影測量技術的道路標志尺寸及高度自動測量方法，其特征在于：包括以下步驟：

步驟S1：通過車載雙目攝影設備采集道路前景圖像，并生成對應的景深信息；

步驟S2：通過Mask_RCNN模型分類識別道路前景圖像中的道路標志，獲取道路標志在圖像上的位置坐標信息；

步驟S3：將圖像坐標系轉換為相機坐標系，并計算道路標志的實際尺寸和離地高度；

步驟S4：通過雙目相機俯仰角、翻滾角和航向角，對獲取的道路標志尺寸和高度進行校正。

2.根據權利要求1所述的基于雙目攝影測量技術的道路標志尺寸及高度自動測量方法，其特征在于：步驟S2中所述通過Mask_RCNN模型自動分類識別道路前景圖像中的道路標志具體包括以下步驟：

步驟S21：訓練神經網絡模型：對采集到的道路前景圖像進行標注，搭建道路標志自動識別模型訓練庫，進行Mask_RCNN模型訓練，獲取模型權重信息；

步驟S22：對道路前景圖像進行道路標志識別并輸出位置坐標信息：將采集到的道路前景圖像導入訓練好的權重進行道路標志識別，并導出已識別道路標志在圖像上的位置信息。

3.根據權利要求1所述的基于雙目攝影測量技術的道路標志尺寸及高度自動測量方法，其特征在于：步驟S3具體包括以下步驟：

步驟S31：圖像景深信息的處理：首先確定道路標志在圖像上的位置區域，在該位置區域內將深度信息有誤的像素點剔除，再計算該位置區域內景深信息的均值作為道路標志的景深；

步驟S32：圖像坐標系與相機坐標系的轉換：根據相似三角形原理，獲得圖像坐標系與相機坐標系的轉換公式如(1)(2)所示；

式中，X_c、Y_c分別為相機坐標系中的x、y坐標；x、y分別為圖像坐標系中的x、y坐標；Z_c為圖像景深；f為相機焦距；

步驟S33：道路標志尺寸與離地高度計算：

其中尺寸計算的過程包括：根據得到的道路標志位置信息分別獲取x和y方向上坐標的最大值與最小值點；然后將這些點轉換到相機坐標系中，得到對應相機坐標系中點的坐標，轉換后的x方向最大值與最小值的差即為道路標志的長度，y方向上的差值為寬度；

高度計算的過程包括：道路標志的實際離地高度為相機的高度和相機與道路標志之間的高度之和；相機與道路標志的高差計算方式是將圖像上道路標志的最低點的縱坐標和相機主點的縱坐標轉換到相機坐標系再求差值，道路標志尺寸和高度計算公式如(3)(4)(5)所示；

式中，X、Y分別為道路標志的長、寬；H為道路標志高度；u_y為相機主點坐標的縱坐標；x_max、x_min、y_max、y_min分別為道路標志位置x和y方向上坐標的最大值與最小值點對應的坐標。

4.根據權利要求3所述的一種基于雙目景深圖像的道路標志尺寸和高度計算方法，其特征在于：步驟S4具體包括以下步驟：

步驟S41：針對相機俯仰角變化的道路標志尺寸和離地高度測量結果校正：

針對相機俯仰角變化的道路標志離地高度測量結果校正：設當相機俯仰角為0時，道路標志處于圖像的中心；此時如果給相機一個正的俯仰角a，道路標志就會出現在圖像中心的下方，即通過公式6進行校正：

H’＝H+tan(a)*d (6)

式中，H’為俯仰角校正后高度；H為測量高度；a為俯仰角角度；d為道路標志景深值；

針對相機俯仰角變化的道路標志尺寸測量結果校正：由于俯仰角對圖像的長度不會產生影響，對圖像的寬度會產生影響；即通過公式7進行校正：

Y’＝Y*cos(a) (7)

式中，Y’為俯仰角校正后寬度；Y為測量寬度；a為俯仰角角度；

步驟S42：針對相機翻滾角變化的道路標志尺寸和離地高度測量結果校正：

針對相機翻滾角變化的道路標志離地高度測量結果的校正：設翻滾角為b，通過翻轉后的圖像計算物體在正常拍攝時道路標志縱坐標的最大值，即通過公式8進行校正：

y₁＝y”–丨(u_y-y”)丨*(1-cos(b)) (8)

式中，y₁為正常拍攝道路標志縱坐標最大值；y”為翻轉后道路標志縱坐標最大值；u_y為相機主點y軸坐標；b為翻滾角角度；

針對相機翻滾角變化的道路標志長度測量結果校正，如公式9所示：

X”＝X*cos(b) (9)

式中，X”為翻滾角校正后長度；X為測量長度；b為翻滾角角度；

針對相機翻滾角變化的道路標志寬度測量結果校正，如公式10所示：

Y”＝Y*(1-sin(b)) (10)

式中，Y”為翻滾角校正后寬度；Y為測量寬度；b為翻滾角角度；

步驟S43：針對相機航向角變化的道路標志尺寸和離地高度測量結果校正：

相機航向角變化是指由于車輛轉彎導致相機角度在水平方向發生變化產生的角度，設航向角為c；

針對相機航向角變化的道路標志長度測量結果的校正：

X”’＝X*cos(c) (11)

式中，X”’為航向角校正后長度；X為測量長度；c為航向角角度；

針對相機航向角變化的道路標志寬度測量結果的校正：

Y”’＝Y*cos(c) (12)

式中，Y”’為航向角校正后寬度；Y為測量寬度；c為航向角角度。