[發明專利]一種基于攝像頭和激光雷達的自適應強化融合實時實例分割方法有效
| 申請號： | 202010818329.4 | 申請日： | 2020-08-14 |
| 公開（公告）號： | CN111967373B | 公開（公告）日： | 2021-03-30 |
| 發明（設計）人： | 殷國棟;彭湃;莊偉超;耿可可;徐利偉;王金湘;張寧;盧彥博 | 申請（專利權）人： | 東南大學 |
| 主分類號： | G06K9/00 | 分類號： | G06K9/00;G06K9/34;G06T7/70 |
| 代理公司： | 北京德崇智捷知識產權代理有限公司 11467 | 代理人： | 王斌 |
| 地址： | 211100 江*** | 國省代碼： | 江蘇;32 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 基于 攝像頭 激光雷達 自適應 強化 融合 實時 實例 分割 方法 | ||
1.一種基于攝像頭和激光雷達的自適應強化融合實時實例分割方法，其特征在于，所述方法包括：
S10，特征提?。豪镁矸e神經網絡分別提取目標的攝像頭圖像和激光雷達投影圖的圖像特征，得到對應攝像頭圖像的第一圖像特征和對應激光雷達投影圖的第二圖像特征；
S20，自適應強化融合：將所述第一圖像特征和所述第二圖像特征輸入到一個權重網絡，自適應地分配第一圖像特征和第二圖像特征的權重，根據分配的第一權重對第一圖像特征加權得到第三圖像特征，根據分配的第二權重對第二圖像特征加權得到第四圖像特征，對第三圖像特征和第四圖像特征進行強化融合，得到融合后的圖像特征；
S30，網絡輸出：根據所述融合后的圖像特征，利用實時實例分割網絡輸出目標的類別、置信度、邊界框、掩模，獲取目標的實例分割結果；
其中，所述特征提取具體包括：
S11，將目標的攝像頭圖像和激光雷達點云時間同步：
由時間同步算法獲取與當前激光雷達幀的最近的攝像頭圖像幀，得到時間同步后的攝像頭圖像幀和激光雷達點云幀；
S12，生成激光雷達投影圖：
根據激光雷達坐標系到攝像頭坐標系的外參矩陣Me，以及攝像頭的內參矩陣Mi，激光雷達點云的某一點(X Y Z)可以由下式投影到攝像頭圖像上，對應的坐標為(u v)：
z·(u v 1)T＝Mi·Me·(X Y Z)T
式中，z表示攝像頭圖像坐標系下的該點的深度；
在投影時過濾掉攝像頭圖像視場外的點云，并用深度z或由對應的反射率值r填充(uv)的像素值，得到激光雷達點云深度投影圖作為激光雷達投影圖；
S13，提取攝像頭圖像和激光雷達投影圖的圖像特征：
將時空一致的攝像頭圖像和激光雷達深度投影圖作為特征提取網絡的輸入，利用所述特征提取網絡分別提取對應攝像頭圖像的第一圖像特征和對應激光雷達投影圖的第二圖像特征其中，C、H和W分別代表特征圖的通道數、高度和寬度；
其中，所述自適應強化融合具體包括：
S21，自適應權重分配：
將所提取的第一圖像特征和第二圖像特征作為自適應強化融合網絡的輸入；首先將和沿通道C方向拼接，得到拼接特征圖然后利用C個2C×1×1卷積核將維度減小為C，得到權重特征圖最后利用sigmoid層將歸一化，得到最終的權重系數矩陣其中分別對第一圖像特征和第二圖像特征進行權重分配，得到加權后的第三圖像特征和第四圖像特征
式中，⊙代表Hadamard乘積；
S22，加權特征強化融合：
逐元素比較加權第三圖像特征和第四圖像特征取其中的較大值組成特征矩陣fp；計算的均值m，令均值矩陣所有元素都為m；并按照下式逐元素對和進行強化融合：
式中，為強化系數。
2.根據權利要求1所述的方法，其特征在于，所述第一圖像特征和第二圖像特征為多尺度的高層語義特征。
3.根據權利要求1所述的方法，其特征在于，所述實時實例分割網絡使用YOLACT++中的預測網絡。
4.根據權利要求1所述的方法，其特征在于，所述激光雷達線束不小于40線。
5.根據權利要求1所述的方法，其特征在于，所述特征提取網絡使用ResNet-50作為基礎網絡，并利用特征金字塔網絡提取多尺度的高層語義信息。
6.根據權利要求1所述的方法，其特征在于，所述加權特征強化融合中的強化系數為：
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于東南大學，未經東南大學許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202010818329.4/1.html，轉載請聲明來源鉆瓜專利網。
