[發(fā)明專利]用于路面平坦度檢測的模型構(gòu)建方法、系統(tǒng)和智能終端

在審

• 申請?zhí)枺?/td>: 202210243771.8
• 申請日: 2022-03-10
• 公開（公告）號(hào): CN114677659A
• 公開（公告）日: 2022-06-28
• 發(fā)明（設(shè)計(jì)）人: 劉超;王超;高揚(yáng);何喜軍
• 申請（專利權(quán)）人: 北京工業(yè)大學(xué)
• 主分類號(hào): G06V20/58
• 分類號(hào): G06V20/58;G06K9/62;G06N3/04;G06N3/08;G06V10/25;G06V10/774;G06V10/82
• 代理公司: 北京遠(yuǎn)立知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11502
• 代理人: 李海燕

本發(fā)明公開了一種用于路面平坦度檢測的模型構(gòu)建方法、系統(tǒng)和智能終端，所述方法包括：獲取目標(biāo)場景的多幀原始圖像，在所述原始圖像中提取RGB圖像，并將所述原始圖像生成深度圖；將所述RGB圖像和所述深度圖生成數(shù)據(jù)集，并將所述數(shù)據(jù)集按預(yù)設(shè)比例劃分為訓(xùn)練集、驗(yàn)證集和測試集，并對各數(shù)據(jù)集進(jìn)行標(biāo)注；基于預(yù)存的分類檢測網(wǎng)絡(luò)模型，將RGB－D數(shù)據(jù)分別輸入訓(xùn)練集和驗(yàn)證集，通過模型訓(xùn)練得到路面平坦度檢測模型。解決了現(xiàn)有技術(shù)中路面平坦度檢測準(zhǔn)確性較低的技術(shù)問題。

技術(shù)領(lǐng)域

本發(fā)明涉及自動(dòng)駕駛輔助技術(shù)領(lǐng)域，具體涉及一種用于路面平坦度檢測的模型構(gòu)建方法、系統(tǒng)和智能終端。

背景技術(shù)

隨著自動(dòng)駕駛技術(shù)的發(fā)展，人們對于輔助駕駛車輛安全性和舒適性的要求也日益提高。自動(dòng)駕駛是汽車產(chǎn)業(yè)與人工智能、物聯(lián)網(wǎng)等新興信息技術(shù)深度融合的產(chǎn)物，是當(dāng)前全球汽車與交通出行領(lǐng)域智能化和網(wǎng)聯(lián)化發(fā)展的主要方向，通過檢測路面平坦程度來改善行車體驗(yàn)及安全性也成為了自動(dòng)駕駛領(lǐng)域的核心問題之一。從當(dāng)前城市道路情況來看，由路面損害和城市基礎(chǔ)建設(shè)所必須的減速帶或井蓋等造成的路面凹凸會(huì)影響駕駛?cè)说鸟{駛體驗(yàn)及乘車人的乘坐體驗(yàn)，甚至?xí)黾悠囻{駛的危險(xiǎn)系數(shù)。因此，有效地檢測路面平坦程度對車輛的駕駛起著至關(guān)重要的作用。

但是，傳統(tǒng)的圖像處理算法對數(shù)據(jù)要求嚴(yán)格，路面陰影、光照不均勻等干擾因素都使其難以給出精確的檢測結(jié)果。而經(jīng)典的深度學(xué)習(xí)模型主要是針對大尺寸、大目標(biāo)進(jìn)行分類和識(shí)別，對于路面上形態(tài)各異的凹槽、裂縫等極易造成漏檢和誤判。

發(fā)明內(nèi)容

為此，本發(fā)明實(shí)施例提供一種用于路面平坦度檢測的模型構(gòu)建方法、系統(tǒng)和智能終端，以期至少部分解決現(xiàn)有技術(shù)中路面平坦度檢測準(zhǔn)確性較低的技術(shù)問題。

為了實(shí)現(xiàn)上述目的，本發(fā)明實(shí)施例提供如下技術(shù)方案：

一種用于路面平坦度檢測的模型構(gòu)建方法，所述方法包括：

獲取目標(biāo)場景的多幀原始圖像，在所述原始圖像中提取RGB圖像，并將所述原始圖像生成深度圖；

將所述RGB圖像和所述深度圖生成數(shù)據(jù)集，并將所述數(shù)據(jù)集按預(yù)設(shè)比例劃分為訓(xùn)練集、驗(yàn)證集和測試集，并對各數(shù)據(jù)集進(jìn)行標(biāo)注；

基于預(yù)存的分類檢測網(wǎng)絡(luò)模型，將RGB－D數(shù)據(jù)分別輸入訓(xùn)練集和驗(yàn)證集，通過模型訓(xùn)練得到路面平坦度檢測模型。

進(jìn)一步地，獲取目標(biāo)場景的多幀原始圖像，在所述原始圖像中提取RGB圖像，并將所述原始圖像生成深度圖，具體包括：

利用雙目相機(jī)采集雙目道路圖像，并將雙目道路圖像作為原始圖像；

根據(jù)彩色三通道原理在所述原始圖像中提取RGB圖像；

根據(jù)立體匹配和三維重建方法將所述原始圖像生成深度圖，所述深度圖與所述RGB圖像的尺寸大小相同。

進(jìn)一步地，將所述RGB圖像和所述深度圖生成數(shù)據(jù)集，并將所述數(shù)據(jù)集按預(yù)設(shè)比例劃分為訓(xùn)練集、驗(yàn)證集和測試集，具體包括：

將左目RGB圖像和深度圖生成數(shù)據(jù)集；

按照3：1：1的比例將所述數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測試集。

進(jìn)一步地，對各數(shù)據(jù)集進(jìn)行標(biāo)注，具體包括：

對左目圖像的訓(xùn)練集和驗(yàn)證集進(jìn)行標(biāo)注，標(biāo)注類別包括縱向裂縫、橫向裂縫、網(wǎng)狀裂縫、坑槽、減速帶、井蓋中的至少一者。

進(jìn)一步地，將RGB－D數(shù)據(jù)分別輸入訓(xùn)練集和驗(yàn)證集，具體包括：

將RGB圖像統(tǒng)一縮放至同一尺寸，并自適應(yīng)地為RGB圖像及視差圖填充黑邊后得到特征圖，將特征圖輸入到訓(xùn)練集和驗(yàn)證集中進(jìn)行訓(xùn)練。

進(jìn)一步地，所述分類檢測網(wǎng)絡(luò)模型的輸出端采用CIoU＿Loss作為邊界框的損失函數(shù)：