[發明專利]一種基于注意力機制的視覺與激光雷達多模態數據融合方法

有效

• 申請號: 202110326528.8
• 申請日: 2021-03-26
• 公開（公告）號: CN113065590B
• 公開（公告）日: 2021-10-08
• 發明（設計）人: 張新鈺;李駿;王力;蘭天蔚;李志偉;盧一倩
• 申請（專利權）人: 清華大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/00;G06T7/80;G06T7/38;G06T7/11;G06T5/50;G06T5/00;G06N3/08;G06N3/04;G01S17/89
• 代理公司: 北京三聚陽光知識產權代理有限公司 11250
• 代理人: 張建綱

1.一種基于注意力機制的視覺與激光雷達多模態數據融合方法，所述方法包括：

同時采集自動駕駛車輛的激光雷達點云數據以及相機RGB圖像；

對激光雷達點云數據以及相機RGB圖像進行預處理；

通過球坐標變換將點云數據轉換成距離圖像；

將距離圖像和RGB圖像輸入預先建立和訓練好的距離圖像融合模型，輸出最終的融合特征圖；所述距離圖像融合模型采用自注意機制對距離圖像和RGB圖像進行融合；

將最終的融合特征圖與帶有坐標信息的距離圖像連接到一起，通過空間坐標轉換從二維圖像還原到空間點云的表示形式；

所述距離圖像融合模型包括：encoder模塊、第一注意力特征融合模塊、第二注意力特征融合模塊和decoder模塊，其中，encoder模塊和decoder模塊是對稱的；

所述encoder模塊包括：對距離圖像進行處理的第一Range降采樣子模塊、對距離圖像進行處理的第二Range降采樣子模塊、對RGB圖像進行處理的RGB降采樣子模塊以及對融合圖像進行處理的降采樣子模塊；其中，第一Range降采樣子模塊和第二Range降采樣子模塊均包含一層空洞卷積單元、一層批歸一化單元以及一層激活函數單元；RGB降采樣子模塊包含一層卷積單元、一層批歸一化單元以及一層激活函數單元；降采樣子模塊包含一層卷積單元、一層批歸一化單元以及一層激活函數單元；

所述第一注意力特征融合模塊和第二注意力特征融合模塊均包括：距離圖特征提取單元、第一RGB圖像特征提取單元、第二RGB圖像特征提取單元、注意力圖生成單元、融合向量生成單元以及融合特征圖生成單元；距離圖特征提取單元、第一RGB圖像特征提取單元和第二RGB圖像特征提取單元均由兩層卷積層組成；

所述距離圖特征提取單元，用于提取距離圖像的Range特征，輸出至注意力圖生成單元；

所述第一RGB圖像特征提取單元，用于提取RGB圖像的RGB特征，輸出至注意力圖生成單元；

所述注意力圖生成單元，用于將Range特征矩陣轉換為Range向量，將RGB特征矩陣轉換為RGB向量，然后將Range向量和RGB向量進行叉乘得到注意力圖，輸出至融合向量生成單元；

所述第二RGB圖像特征提取單元，用于提取RGB圖像的RGB特征，輸入融合向量生成單元；

所述融合向量生成單元，用于將RGB特征轉換成向量，與注意力圖進行叉乘得到融合向量，輸出至融合特征圖生成單元；

所述融合特征圖生成單元，用于將融合向量進行重新拼接，形成融合特征圖；

decoder模塊，用于將融合特征圖恢復到原始輸入圖像的尺寸，包括兩個上采樣子模塊，每個上采樣子模塊都是由一層反卷積、一層批歸一化以及一層激活層組成。

2.根據權利要求1所述的基于注意力機制的視覺與激光雷達多模態數據融合方法，其特征在于，所述對激光雷達點云數據以及相機RGB圖像進行預處理；具體包括：

對激光雷達點云數據以及相機RGB圖像進行標定和對齊；

根據點云數據與RGB圖像的對應信息，對對RGB圖像進行裁剪，只保留圖像下半部分三分之一的尺寸。

3.根據權利要求2所述的基于注意力機制的視覺與激光雷達多模態數據融合方法，其特征在于，所述通過球坐標變換將點云數據轉換成距離圖像；具體包括：

將原始的激光雷達點云數據表示為[N，4]的矩陣，其中，N為一幀場景中的點云數量，每一個點的四維特征為[x,y,z,i]，x、y、z表示空間坐標，i表示激光反射強度；

將點云數據通過球坐標變換轉換成距離圖像，具體變換公式為：

其中，u、v代表點云轉換后在距離圖像中的像素坐標；f是激光雷達的俯仰角，f_down為中心點向下的角度，f＝f_down+f_up，f_up為中心點向上的角度；w和h分別表示轉換后的距離圖像的寬度和高度；r代表點距離激光雷達的中心的絕對距離：

距離圖像的每一個像素點對應空間中的一個點，包含了點云數據的5個特征：x、y、z、激光反射強度i和深度r。