[發明專利]一種激光視覺融合的無人船橋洞通行方法及系統

在審

• 申請號: 202110342930.5
• 申請日: 2021-03-30
• 公開（公告）號: CN113159042A
• 公開（公告）日: 2021-07-23
• 發明（設計）人: 吳煒;王瑩瑩
• 申請（專利權）人: 蘇州市衛航智能技術有限公司
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06K9/46;G06K9/62;G06N3/04;G06N3/08;G01S17/93;G01C21/34
• 代理公司: 溫州市品創專利商標代理事務所(普通合伙) 33247
• 代理人: 程春生

1.一種激光視覺融合的無人船橋洞通行方法，其特征在于，所述方法包括步驟：

采集河道數據集及對河道航行過程常見場景進行標記；

利用卷積神經網絡對河道數據集進行訓練得到訓練權重，通過訓練權重根據單目相機拍攝的圖像進行語義分割得到每個像素點語義標記判斷船體周圍是否有橋梁；

通過語義分割模塊提供可行駛區域范圍，根據激光雷達模塊提供橋洞障礙物位置，實時結合激光雷達障礙信息，進行局部動態路徑規劃。

2.根據權利要求1所述的激光視覺融合的無人船橋洞通行方法，其特征在于，所述訓練權重的步驟包括：

首先對數據集的圖片和標注進行像素統一化，統一為416×416，選擇U-net模型以及交叉熵損失函數，取數據集的90％為訓練集，剩余10％為測試集，通過不斷地圖像預測、損失函數計算以及權重的調整，進行50個epoch的訓練得到最后的訓練權重。

3.根據權利要求2所述的激光視覺融合的無人船橋洞通行方法，其特征在于，所述交叉熵損失函數計算過程如下：

其中：p(x_i)為真實概率分布，q(x_i)為預測概率分布。

4.根據權利要求1所述的激光視覺融合的無人船橋洞通行方法，其特征在于，所述方法還包括：若存在橋梁，結合激光雷達的障礙信息，對于所得的點云數據進行預處理，過濾無效點和離群點等，然后進行特征點提取，獲取橋洞邊緣信息；通過單目相機和激光雷達坐標系的轉換關系，將語義信息與點云信息將結合，計算橋洞位置以及橋洞高度h，結合無人船自身的船高，判斷是否安全通過。

5.根據權利要求4所述的激光視覺融合的無人船橋洞通行方法，其特征在于，所述單目相機和激光雷達坐標系的轉換關系包括步驟：

首先要進行相機和激光雷達的參數標定，其中涉及到五個坐標系之間的轉換，包括像素坐標系(u,v)、圖像坐標系(x,y)、相機坐標系(X_c,Y_c,Z_c)、激光雷達坐標系(X_L,Y_L,Z_L)以及世界坐標系(X_w,Y_w,Z_w)；經過聯立后得到相機坐標系與激光雷達坐標系之間的轉化關系如下：

其中R為旋轉矩陣，T為平移矩陣，f為相機焦距，u₀、v₀為圖相坐標系原點在像素坐標系中的坐標。

6.一種激光視覺融合的無人船橋洞通行系統，其特征在于：所述系統包括：

視覺采集模塊模：用于實時采集無人船行駛過程中的周圍場景圖像信息；

語義分割模塊：用于實時采集的圖像信息進行語義信息識別，將環境中的各種物體進行分類標記，同時判斷可行駛區域；

激光掃描模塊：用于對無人船周邊環境進行掃描，得到障礙信息，通過三維障礙信息與語義信息的融合，得到橋的位置信息。