[發明專利]一種基于攝像頭和激光雷達的自適應強化融合實時實例分割方法

有效

• 申請號: 202010818329.4
• 申請日: 2020-08-14
• 公開（公告）號: CN111967373B
• 公開（公告）日: 2021-03-30
• 發明（設計）人: 殷國棟;彭湃;莊偉超;耿可可;徐利偉;王金湘;張寧;盧彥博
• 申請（專利權）人: 東南大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06T7/70
• 代理公司: 北京德崇智捷知識產權代理有限公司 11467
• 代理人: 王斌

本發明公開一種基于攝像頭和激光雷達的自適應強化融合實時實例分割方法，所述方法包括：利用卷積神經網絡分別提取目標的攝像頭圖像和激光雷達投影圖的圖像特征，分別得到第一圖像特征和第二圖像特征；自適應地分配第一圖像特征和第二圖像特征的權重，根據分配的第一權重對第一圖像特征加權得到第三圖像特征，根據分配的第二權重對第二圖像特征加權得到第四圖像特征，對第三圖像特征和第四圖像特征進行強化融合；根據所述融合后的圖像特征，利用實時實例分割網絡輸出目標的類別、置信度、邊界框、掩模，獲取目標的實例分割結果。本發明能夠在復雜環境下實時、精確且魯棒地實現目標實例分割，在智能網聯車輛感知領域具有廣泛的應用前景。

技術領域

本發明屬于智能網聯汽車的目標實例分割技術領域，特別是一種基于攝像頭和激光雷達的自適應強化融合實時實例分割方法。

背景技術

智能網聯汽車在提高道路安全和交通效率方面具有很大的潛力，而對交通環境的精確感知是智能網聯汽車進行規劃、決策和控制的基礎。攝像頭作為智能網聯汽車感知系統最常用的傳感器，能夠獲取周圍環境的詳細形狀和紋理信息。近些年，基于視覺的深度學習算法在環境感知方面已經取得了令人矚目的成果。但是攝像頭容易受到光線和天氣條件的影響，導致算法性能嚴重降低甚至失效。所以，智能網聯汽車的感知系統通常配備多種傳感器，如攝像頭、激光雷達、毫米波雷達、超聲波雷達等，來獲取全面的、互補的感知信息。由于激光雷達能夠精確感知周圍環境的三維信息且不易受環境變化影響，很多研究工作通過融合攝像頭和激光雷達信息來獲取魯棒、精確、實時的環境感知能力。

中國發明專利申請“基于視覺、激光雷達和毫米波雷達的目標檢測方法”(申請號：202010380040.9，公開日：2020.06.30)通過融合激光雷達點云鳥瞰圖和攝像頭圖像來進行目標檢測。目標檢測利用邊界框來定位圖像中的目標，但是邊界框中通常還包含來自背景以及其他目標的噪聲；而實例分割利用掩模來精確分割圖像中的目標個體，對環境的解析更詳細、更自然。

中國發明專利申請“一種基于多傳感器信息融合的三維目標檢測方法及裝置”(申請號：201911269486.8，公開日：2019.12.11)和“一種基于多傳感器數據融合的3D目標檢測方法”(申請號：201911423880.2，公開日：2020.05.29)公開了融合激光雷達和攝像頭數據的兩階段三維目標檢測方法，首先確定可能存在目標的感興趣區域，然后再在該區域上進行目標檢測，此類方法處理速度較慢，目前無法實際應用在智能網聯汽車感知系統上。

在融合方式上，中國發明專利申請“一種基于單目視覺和激光雷達融合的車輛檢測方法”(申請號：202010124991.X，公開日：2020.06.16)和“一種攝像頭和激光雷達融合的端到端目標檢測方法”(申請號：201911118301.3，公開日： 2019.11.15)利用級聯、求和或按元素取均值等方式來融合圖像和激光雷達特征圖。但是，此類融合方式并沒有考慮不同模態信息對于最后感知結果的貢獻程度，如激光雷達在夜間通常比攝像頭提供更多的環境信息，使得網絡無法充分利用兩個模態的互補特征，導致網絡性能受限。

總之，現有技術存在的問題是：僅依賴單模態傳感器無法精確、魯棒的感知外部環境；而目前基于攝像頭和激光雷達的融合感知方法的目標定位精度低且實時性較差，并且所采用的融合方法無法自適應地學習不同模態的互補特征。

發明內容

本發明的目的在于提供一種基于攝像頭和激光雷達的自適應強化融合實時實例分割方法，該方法可以自適應地利用不同模態的互補特征，有效實現對復雜交通環境下不同交通要素目標的實時實例分割。

實現本發明目的的技術解決方案為：

一種基于攝像頭和激光雷達的自適應強化融合實時實例分割方法，所述方法包括：

S10，特征提?。豪镁矸e神經網絡分別提取目標的攝像頭圖像和激光雷達投影圖的圖像特征，得到對應攝像頭圖像的第一圖像特征和對應激光雷達投影圖的第二圖像特征；