[發明專利]基于深度學習的玻璃場景下三維激光雷達導航方法及設備

有效

• 申請號: 202010881244.0
• 申請日: 2020-08-27
• 公開（公告）號: CN111982124B
• 公開（公告）日: 2022-11-01
• 發明（設計）人: 孟杰;王書亭;謝遠龍;蔣立泉;吳天豪;孫浩東;李鵬程;林鑫;劉倫洪;吳昊
• 申請（專利權）人: 華中科技大學
• 主分類號: G01C21/20
• 分類號: G01C21/20;G01S17/931;G01S17/46;G06N3/04;G06N3/08
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 尚威;李智

1.一種基于深度學習的玻璃場景下三維激光雷達導航方法，其特征在于，包括以下步驟：

離線訓練階段：

S1，搭建第一深度神經網絡，將三維激光雷達掃描獲得的激光雷達點云數據中每個雷達點對應的激光光束的旋轉角度、俯仰角度、長度和強度作為第一深度神經網絡的輸入數據；將每個雷達點是否為玻璃的概率作為第一深度神經網絡的輸出數據，訓練得到玻璃識別深度神經網絡；

搭建第二深度神經網絡，將所述激光光束的旋轉角度、俯仰角度和長度作為第二深度神經網絡的輸入數據；將每個激光光束在不同的長度、旋轉角度、俯仰角度的情況下遇到玻璃直接反射生成雷達點的概率，以及透射玻璃的概率，作為第二深度神經網絡的輸出數據，訓練得到光學特性深度神經網絡；

在線導航階段：

S2，建立玻璃環境下的空間體素地圖，將三維激光雷達實時掃描獲得的激光雷達點云數據中每個雷達點對應的激光光束的旋轉角度、俯仰角度、長度和強度輸入到已訓練好的玻璃識別深度神經網絡中，識別出各個雷達點是否為玻璃的概率，然后根據雷達點的坐標計算出各個雷達點所在玻璃的方向，并實時地將每個雷達點為玻璃的概率以及玻璃的法向量插入空間體素地圖上對應的體素中；

所述步驟S2包括如下子步驟：

S2.1，采用圖優化方法和三維激光雷達構建玻璃環境下的空間體素地圖其中第i個體素記為m_B,i＝(Z_i,B_i)，Q是空間體素地圖M_B中體素m_B,i的總數，Z_i表示體素m_B,i被障礙物占據的概率；B_i表示體素m_B,i為玻璃的概率，本步驟中是未知量，需要在步驟S2.2中通過玻璃識別深度神經網絡獲取；

S2.2，將每個雷達點對應的激光光束的旋轉角度、俯仰角度、長度和強度輸入玻璃識別深度神經網絡，獲得每個雷達點為玻璃的概率，并實時地將識別出的玻璃概率賦值給步驟S2.1的空間體素地圖M_B中對應體素的B_i；

S2.3，計算步驟S2.2獲得的空間體素地圖中玻璃墻的法向量；

S2.3.1，在具有玻璃標簽的空間體素地圖中玻璃概率超過預設置信度的體素中采用隨機一致性算法抽樣三個體素構建一個假設玻璃平面方程Bx+Cy+Dz+F＝0；B、C、D、F分別是該假設玻璃平面方程的擬合參數；

S2.3.2，計算玻璃概率超過預設置信度的所有體素與該假設玻璃平面之間的距離J_i：

如果J_i＜J_T，J_T為預設閾值，則該體素m_B,i為該假設玻璃平面的有效體素；x_i、y_i、z_i是體素m_B,i在空間體素地圖坐標系下的坐標；

S2.3.3，循環2.3.2直到玻璃概率超過預設置信度的所有體素被遍歷完成，如該假設玻璃平面的有效體素數量大于預設值，則認為該假設玻璃平面為真實的玻璃平面，并計算該真實玻璃平面的法向量該真實玻璃平面中的每個玻璃體素被表示為

S2.3.4，循環S2.3.2和S2.3.3，檢測出帶有玻璃標簽的空間體素地圖中所有的玻璃平面，停止條件為所有帶有玻璃概率的體素被歸屬于真實玻璃平面或者達到最大迭代次數，從而獲得具有玻璃法向量和玻璃位置的空間體素地圖

S3，在步驟S2獲得的具有玻璃概率和玻璃方向信息的空間體素地圖上，采用考慮光學特性的光線投射法模擬出機器人在初始位姿時，激光雷達發射的激光光束的旋轉角度、俯仰角度和長度，輸入光學特性深度神經網絡獲得激光光束透射玻璃的概率，將體素為玻璃時反射激光光束生成的雷達點，以及體素為普通障礙物時生成的雷達點加入點云中，從而生成模擬點云集；所述步驟S3是依據空間體素地圖M_BF，采用考慮光學特性的光線投射法模擬出機器人在初始位姿時激光雷達所獲得的三維點云信息，具體包括如下子步驟：

S3.1，初始化考慮光學特性的光線投射法參數，包括：

初始化三維激光雷達在空間體素坐標系下的空間位姿X：(x，y，z，b，c，d)，該值由三維激光雷達在空間體素坐標系下的全局定位賦予，b、c和d分別表述激光雷達的滾動角、俯仰角和偏航角；(x，y，z)是激光雷達在空間體素坐標系下的空間坐標；

體素被障礙物占據的概率Z_i的閾值T_o，

玻璃概率B_i的置信度T_B，

旋轉掃描數N_s，

三維激光雷達的激光束線數S，

測量范圍R_max，

帶有玻璃位置及玻璃法向量的空間體素地圖M_BF，

旋轉角度增量為A_Z＝360/(N_s-1)，

俯仰角度增量為Y_Z＝Cz，

旋轉角度累積增量A＝0，

俯仰角度累積增量Y＝0，

第k次掃描生成的激光光束末端坐標為(rx_k，ry_k，rz_k)，

模擬點云集M_N，

射線長度增量最大步長E，

三維激光雷達和機器人的空間轉換關系T；

S3.2，通過空間坐標轉換根據X，Y，A計算出第n_s個激光光束第k次掃描的旋轉角度γ以及俯仰角度κ，并依據設定最大步長E，計算激光光束在第k次掃描的發射方向上的長度增量(Δx_k，Δy_k，Δz_k)；

S3.3，(rx_k，ry_k，rz_k)＝(rx_k，ry_k，rz_k)+(Δx_k，Δy_k，Δz_k)；

S3.4，計算激光光束長度

S3.5，如果當前激光光束rl＞R_max，則表示該激光光束不會生成雷達點，進入步驟S3.6；如果當前激光光束長度rl≤R_max，則該激光光束末端的坐標(rx_k，ry_k，rz_k)對應的體素分如下情形進行處理：

情形1：如果當前激光光束末端所在體素的B_i≤T_B且Z_i≤T_o，意味著該體素沒有被任何障礙物占據，激光會繼續向前照射，返回步驟S3.3；

情形2：如果當前激光光束末端所在體素的B_i≤T_B且Z_i＞T_o，意味著該體素為普通障礙物，激光光束會在此處生成雷達點，將該雷達點插入M_N，進入步驟S3.6；

情形3：如果當前激光光束末端所在體素的B_i＞T_B，意味著該體素為玻璃，則將當前激光光束的旋轉角度γ、俯仰角度κ以及光束長度rl輸入到光學特性深度神經網絡獲得光束透射玻璃的概率；然后依據該概率判斷透射結果，如透射則激光會繼續向前照射，返回步驟S3.3，如果反射則會生成雷達點，將該雷達點插入M_N，進入步驟S3.6；

S3.6，令k＝k+1，將激光光束的距離置零：rl←0，旋轉角度累加A＝A+A_z，返回步驟S3.2，循環直至k＝N_s，進入步驟S3.7；

S3.7，令n_s＝n_s+1，旋轉角度置零A←0，俯仰角度累加：Y＝Y+Y_z，重復步驟S3.2到S3.6，循環直至n_s＝S，結束循環，獲得精確的模擬點云集M_N；

S3.8，計算出機器人坐標系下的模擬點云集M_T＝M_N·T；

S4，基于真實三維雷達數據以及步驟S3生成的模擬點云集，采用正態分布變換計算出機器人在步驟S2獲得的具有玻璃概率和玻璃方向信息的空間體素地圖中的絕對位姿。