[發(fā)明專利]基于街景圖像與車載激光融合的城市場景構(gòu)圖方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110781760.0
• 申請日: 2021-07-12
• 公開（公告）號: CN113240755B
• 公開（公告）日: 2021-09-21
• 發(fā)明（設(shè)計）人: 高翔;陶冬冬;解則曉;于筱萱;王皓月;胡晨
• 申請（專利權(quán)）人: 中國海洋大學(xué)
• 主分類號: G06T7/80
• 分類號: G06T7/80;G06T5/50;G06T5/00;G06K9/34;G06K9/46;G06K9/62
• 代理公司: 北京市恒有知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

1.一種基于街景圖像與車載激光融合的城市場景構(gòu)圖方法，其特征在于，該城市場景構(gòu)圖方法包括：

步驟S10，通過街景相機、激光雷達以及全球?qū)Ш叫l(wèi)星系統(tǒng)的外參數(shù)預(yù)標(biāo)定獲取街景相機和激光雷達的外參數(shù)初始值，通過街景相機的內(nèi)參數(shù)預(yù)標(biāo)定獲取街景相機的內(nèi)參數(shù)初始值；所述街景相機，其內(nèi)參數(shù)包括焦距、以及主點、，其外參數(shù)包括旋轉(zhuǎn)矩陣以及平移矩陣；所述激光雷達，其外參數(shù)包括旋轉(zhuǎn)矩陣以及平移矩陣；

步驟S20，提取街景相機獲取的待構(gòu)圖場景圖像的SIFT特征，并結(jié)合所述街景相機的內(nèi)參數(shù)初始值和外參數(shù)初始值進行特征匹配以及特征軌跡連接，獲得待構(gòu)圖場景圖像的特征軌跡；對激光雷達獲取的激光點云進行分割與聚類，并對聚類結(jié)果進行特征提取，獲得激光點云的特征；

步驟S30，對所述待構(gòu)圖場景圖像的特征軌跡進行三角測量，構(gòu)建基于圖像特征的優(yōu)化方程；

基于所述激光點云的特征進行特征匹配，并基于特征匹配結(jié)果構(gòu)建基于點云特征的優(yōu)化方程；

采集每一幅待構(gòu)圖場景圖像對應(yīng)的各站激光點云，對所述各站激光點云進行投影與三角化，并結(jié)合對應(yīng)的待構(gòu)圖場景圖像的特征軌跡與各站激光點云數(shù)據(jù)對應(yīng)關(guān)系，構(gòu)建基于圖像與激光對應(yīng)的優(yōu)化方程；

步驟S40，將所述基于圖像特征的優(yōu)化方程、所述基于點云特征的優(yōu)化方程和所述基于圖像與激光對應(yīng)的優(yōu)化方程融入統(tǒng)一的全局優(yōu)化框架，對待優(yōu)化參數(shù)求解，并以求解后獲得的街景相機內(nèi)參數(shù)、街景相機外參數(shù)以及激光雷達外參數(shù)替換初始值后，跳轉(zhuǎn)步驟S30；

步驟S50，迭代優(yōu)化至預(yù)先設(shè)定的迭代次數(shù)后，獲得待構(gòu)圖場景的三維構(gòu)圖；所述預(yù)先設(shè)定的迭代次數(shù)為4。

2.根據(jù)權(quán)利要求1所述的基于街景圖像與車載激光融合的城市場景構(gòu)圖方法，其特征在于，所述激光點云的特征包括激光點云的平面特征和邊緣特征，其獲取方法為：

步驟S21，分別將所述激光點云中各站激光點云由直角坐標(biāo)系轉(zhuǎn)換為球坐標(biāo)系；

步驟S22，將轉(zhuǎn)換后的激光點云投影至平面，并保存激光點云中各點的深度信息；

步驟S23，根據(jù)激光點云在平面分布情況與深度信息，通過LeGO-LOAM法將激光點云中各點分割為地面點與非地面點；

步驟S24，采用廣度優(yōu)先搜索法對所述非地面點按照平面分辨率和每個非地面點的深度信息進行聚類，獲得激光點云分割與聚類結(jié)果；

步驟S25，根據(jù)距離信息計算激光點云分割與聚類結(jié)果中每個點在平面上相對于周圍點的平滑度，并根據(jù)平滑度分別進行地面點與非地面點的特征提取，獲得激光點云的平面特征和邊緣特征。

3.根據(jù)權(quán)利要求2所述的基于街景圖像與車載激光融合的城市場景構(gòu)圖方法，其特征在于，所述邊緣特征匹配，其方法為：

對于當(dāng)前激光站對應(yīng)的邊緣點子集中的一個激光點，在其各候選匹配激光站中的激光站對應(yīng)的邊緣點集中，采用最近鄰搜索法獲取與激光點在平面上同一行上的最近鄰點，并且在平面上下兩行上獲取次近鄰點，實現(xiàn)點云的邊緣特征匹配。

4.根據(jù)權(quán)利要求2所述的基于街景圖像與車載激光融合的城市場景構(gòu)圖方法，其特征在于，所述平面特征匹配，其方法為：

對于當(dāng)前激光站對應(yīng)的平面點子集中的一個激光點，在其各候選匹配激光站中的激光站對應(yīng)的平面點集中，采用最近鄰搜索法獲取激光點在平面上同一行上的最近鄰點，并且在平面上同一行或者上下兩行上獲取次近鄰點，以及在平面上下兩行上獲取第三鄰近點，實現(xiàn)點云的平面特征匹配。

5.根據(jù)權(quán)利要求1所述的基于街景圖像與車載激光融合的城市場景構(gòu)圖方法，其特征在于，所述基于圖像特征的優(yōu)化方程，其構(gòu)建方法為：

步驟S311，根據(jù)所述街景相機的內(nèi)參數(shù)初始值和外參數(shù)初始值，采用基于隨機抽樣一致性的三角測量法計算各特征軌跡對應(yīng)場景點的三維坐標(biāo)初值；

步驟S312，利用所述街景相機的內(nèi)參數(shù)初始值和外參數(shù)初始值將所述各特征軌跡對應(yīng)場景點的三維坐標(biāo)初值進行重投影；

步驟S313，以重投影點與對應(yīng)的圖像SIFT特征點的像素距離為優(yōu)化目標(biāo)，以特征軌跡對應(yīng)的場景點三維坐標(biāo)以及各幅街景圖像對應(yīng)的街景相機的內(nèi)參數(shù)和外參數(shù)為待優(yōu)化參數(shù)，構(gòu)建基于圖像特征的優(yōu)化方程。