[發(fā)明專利]基于雙目攝影測(cè)量技術(shù)的道路標(biāo)志尺寸及高度自動(dòng)測(cè)量方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010086065.8
• 申請(qǐng)日: 2020-02-13
• 公開(kāi)（公告）號(hào): CN111288890A
• 公開(kāi)（公告）日: 2020-06-16
• 發(fā)明（設(shè)計(jì)）人: 羅文婷;胡輝;劉樂(lè)璇;陳澤斌;李林
• 申請(qǐng)（專利權(quán)）人: 福建農(nóng)林大學(xué)
• 主分類號(hào): G01B11/00
• 分類號(hào): G01B11/00;G01B11/02;G01B11/06;G06K9/62;G06T7/55;G06T7/60;G06T7/73
• 代理公司: 福州元?jiǎng)?chuàng)專利商標(biāo)代理有限公司 35100
• 代理人: 丘鴻超;蔡學(xué)俊

本發(fā)明涉及一種基于雙目攝影測(cè)量技術(shù)的道路標(biāo)志尺寸及高度自動(dòng)測(cè)量方法。利用車載雙目攝影設(shè)備采集道路前景圖像，通過(guò)攝影測(cè)量技術(shù)自動(dòng)生成景深信息；利用Mask_RCNN模型對(duì)分類識(shí)別道路前景圖像中的標(biāo)注標(biāo)牌，并獲取標(biāo)志在圖像上的坐標(biāo)信息；根據(jù)相機(jī)焦距和圖像景深信息將圖像坐標(biāo)系轉(zhuǎn)換為相機(jī)坐標(biāo)系；利用標(biāo)志在圖像上的坐標(biāo)信息計(jì)算標(biāo)志的實(shí)際大小尺寸，再結(jié)合相機(jī)高度與標(biāo)志在圖像上的縱坐標(biāo)，計(jì)算標(biāo)志的實(shí)際離地高度；通過(guò)相機(jī)俯仰角、翻滾角、航向角對(duì)測(cè)量結(jié)果進(jìn)行校正。本發(fā)明可以實(shí)現(xiàn)標(biāo)志牌尺寸與高度的自動(dòng)測(cè)量，為道路基礎(chǔ)設(shè)施的統(tǒng)計(jì)維護(hù)，以及無(wú)人駕駛技術(shù)提供一定的技術(shù)基礎(chǔ)。

技術(shù)領(lǐng)域

本發(fā)明涉及道路基礎(chǔ)設(shè)施檢測(cè)領(lǐng)域，特別是一種基于雙目攝影測(cè)量技術(shù)的道路標(biāo)志尺寸及高度自動(dòng)測(cè)量方法。

背景技術(shù)

隨著社會(huì)的不斷發(fā)展，人們的生活水平不斷的提高，汽車作為出行工具已經(jīng)成為人們生活中不可缺失的一部分。隨著汽車保有量的增加，給交通管理帶來(lái)了很大的挑戰(zhàn)，同時(shí)也不可避免的造成了很多交通安全事故。交通安全事故發(fā)生的主要原因是駕駛員交通意識(shí)淺薄，無(wú)視道路交通信息。在這種背景下，道路標(biāo)志識(shí)別成為了輔助駕駛和無(wú)人駕駛領(lǐng)域的關(guān)鍵技術(shù)。近年來(lái)，隨著深度學(xué)習(xí)的迅速發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)在圖像分類和目標(biāo)檢測(cè)領(lǐng)域取得了令人矚目的成績(jī)，使人們對(duì)道路標(biāo)志的檢測(cè)與識(shí)別有了新的認(rèn)識(shí)和突破。

在圖像研究領(lǐng)域中，圖像景深信息的研究一直是一個(gè)重點(diǎn)內(nèi)容，目前通過(guò)相機(jī)獲取圖像景深信息的方法主要有兩種：一種是移動(dòng)的單目相機(jī)通過(guò)比較多幀差異獲取景深信息，另一種是通過(guò)雙目相機(jī)獲取景深信息。由于單目相機(jī)在獲取景深信息時(shí)存在盲點(diǎn)且精度相比雙目相機(jī)較低等原因，現(xiàn)在獲取圖像景深信息時(shí)廣泛采用雙目相機(jī)，雙目相機(jī)在采集圖像過(guò)程中可以生成對(duì)應(yīng)的景深圖像。

卷積神經(jīng)網(wǎng)絡(luò)對(duì)道路前景圖像進(jìn)行處理后可以返回道路標(biāo)志的類別和道路標(biāo)志在圖像上位置信息。但是在輔助駕駛和無(wú)人駕駛領(lǐng)域中，目標(biāo)物在現(xiàn)實(shí)中的位置信息以及尺寸大小也極為重要，準(zhǔn)確的位置信息和尺寸大小能夠幫助計(jì)算機(jī)做出更好的決策。但目前關(guān)于道路標(biāo)志尺寸和高度計(jì)算的研究較少。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的目的是提出一種基于雙目攝影測(cè)量技術(shù)的道路標(biāo)志尺寸及高度自動(dòng)測(cè)量方法。利用車載雙目攝影設(shè)備采集道路前景圖像，通過(guò)攝影測(cè)量技術(shù)自動(dòng)生成景深信息；利用Mask_RCNN模型對(duì)分類識(shí)別道路前景圖像中的標(biāo)注標(biāo)牌，并獲取道路標(biāo)志在圖像上的坐標(biāo)信息；根據(jù)相機(jī)焦距和圖像景深信息將圖像坐標(biāo)系轉(zhuǎn)換為相機(jī)坐標(biāo)系；利用道路標(biāo)志在圖像上的坐標(biāo)信息計(jì)算道路標(biāo)志的實(shí)際大小尺寸，再結(jié)合相機(jī)高度與道路標(biāo)志在圖像上的縱坐標(biāo)，計(jì)算道路標(biāo)志的實(shí)際離地高度；通過(guò)相機(jī)俯仰角、翻滾角、航向角對(duì)測(cè)量結(jié)果進(jìn)行校正。該發(fā)明能夠自動(dòng)計(jì)算圖像中的道路標(biāo)志的尺寸，降低了人工測(cè)量的造成的物力與財(cái)力的損失。

本發(fā)明采用以下方案實(shí)現(xiàn)：一種基于雙目攝影測(cè)量技術(shù)的道路標(biāo)志尺寸及高度自動(dòng)測(cè)量方法，包括以下步驟：

步驟S1：通過(guò)車載雙目攝影設(shè)備采集道路前景圖像，并生成對(duì)應(yīng)的景深信息；

步驟S2：通過(guò)Mask_RCNN模型自動(dòng)分類識(shí)別道路前景圖像中的道路標(biāo)志，獲取道路標(biāo)志在圖像上的位置坐標(biāo)信息；

步驟S3：將圖像坐標(biāo)系轉(zhuǎn)換為相機(jī)坐標(biāo)系，并計(jì)算道路標(biāo)志的實(shí)際尺寸和離地高度；

步驟S4：通過(guò)雙目相機(jī)俯仰角、翻滾角和航向角，對(duì)獲取的道路標(biāo)志尺寸和高度進(jìn)行校正；

進(jìn)一步地，步驟S2中所述通過(guò)Mask_RCNN模型自動(dòng)分類識(shí)別道路前景圖像中的道路標(biāo)志包括以下步驟：

步驟S21：訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型：對(duì)采集到的道路前景圖像進(jìn)行標(biāo)注，搭建道路標(biāo)志自動(dòng)識(shí)別模型訓(xùn)練庫(kù)，進(jìn)行Mask_RCNN模型訓(xùn)練，獲取模型權(quán)重信息；

步驟S22：對(duì)道路前景圖像進(jìn)行道路標(biāo)志識(shí)別并輸出位置坐標(biāo)信息：將采集到的道路前景圖像導(dǎo)入訓(xùn)練好的權(quán)重進(jìn)行道路標(biāo)志識(shí)別，并導(dǎo)出已識(shí)別道路標(biāo)志在圖像上的位置信息。