[發明專利]多源信息融合方法及裝置、電子設備和存儲介質

在審

• 申請號: 202010161436.4
• 申請日: 2020-03-10
• 公開（公告）號: CN113378605A
• 公開（公告）日: 2021-09-10
• 發明（設計）人: 危磊
• 申請（專利權）人: 北京京東乾石科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 北京律智知識產權代理有限公司 11438
• 代理人: 王輝;闞梓瑄

本公開是關于一種多源信息融合方法及裝置、電子設備以及計算機可讀存儲介質，涉及自動駕駛技術領域，可以應用于檢測無人車周圍物體的場景。該多源信息融合方法包括：獲取目標街景圖像以及目標街景圖像對應的鳥瞰圖像；其中，鳥瞰圖像基于目標街景圖像對應的點云圖像確定；將目標街景圖像輸入至第一特征提取模型，以確定目標街景圖像對應的第一特征圖；將鳥瞰圖像輸入至第二特征提取模型，以確定鳥瞰圖像對應的第二初始特征圖；根據第一特征圖對第二初始特征圖進行位置融合處理，以得到目標特征圖；對目標特征圖進行檢測框預測處理，以確定目標街景圖像中的像素點信息。本公開可以對自動駕駛感知前融合方法進行改進。

技術領域

本公開涉及自動駕駛技術領域，具體而言，涉及一種多源信息融合方法、多源信息融合裝置、電子設備以及計算機可讀存儲介質。

背景技術

自動駕駛技術是汽車產業與高性能計算芯片、人工智能、物聯網等新一代信息技術深度融合的產物。近年來，自動駕駛技術取得了巨大的進步和發展，但距離完全成熟并投入使用尚有一段距離。

在眾多無人駕駛所需要的技術中，用各種傳感器檢測無人車周邊各種物體的感知技術是非常重要和關鍵的。具體的，感知技術主要包括：點云檢測，Bird's Eye View(鳥瞰圖，BEV)檢測，前融合，后融合等。另外，前融合技術目前排名較高的開源融合方法是多視圖目標檢測網絡(an Aggregate View Obeject Detection network，AVOD)。

需要說明的是，在上述背景技術部分公開的信息僅用于加強對本公開的背景的理解，因此可以包括不構成對本領域普通技術人員已知的現有技術的信息。

發明內容

然而，現有的前融合技術AVOD通常采用兩個神經網絡分別提取RGB圖像和BEV圖像的特征圖，通過預設的錨點(anchor)參數計算出每個anchor在RGB和BEV特征圖上的位置，然后分別把其裁剪出來進行融合。這種融合有兩個缺點：一是只采取了最后的高層抽象特征進行融合，丟失了前面淺層特征的相關性；二是為了保證檢測框的準確性，一般預設的anchor數量比較多，導致計算代價較大。

本公開的目的在于提供一種多源信息融合方法、多源信息融合裝置、電子設備以及計算機可讀存儲介質，進而至少在一定程度上克服現有的前融合技術在信息融合過程中丟失了低層特征的相關性并且需要設置錨點進行信息融合的問題。

本公開的其他特性和優點將通過下面的詳細描述變得顯然，或部分地通過本發明的實踐而習得。

根據本公開的第一方面，提供一種多源信息融合方法，包括：獲取目標街景圖像以及目標街景圖像對應的鳥瞰圖像；其中，鳥瞰圖像基于目標街景圖像對應的點云圖像確定；將目標街景圖像輸入至第一特征提取模型，以確定目標街景圖像對應的第一特征圖；將鳥瞰圖像輸入至第二特征提取模型，以確定鳥瞰圖像對應的第二初始特征圖；根據第一特征圖對第二初始特征圖進行位置融合處理，以得到目標特征圖；對目標特征圖進行檢測框預測處理，以確定目標街景圖像中的像素點信息。

可選的，第一特征圖包括多個第一特征子圖，將目標街景圖像輸入至第一特征提取模型，以確定目標街景圖像對應的第一特征圖，包括：將目標街景圖像輸入至第一特征提取模型；其中，第一特征提取模型包括第一數量個第一卷積層；通過各第一卷積層對目標街景圖像進行特征提取處理，以得到各第一卷積層分別對應的第一特征子圖。

可選的，將鳥瞰圖像輸入至第二特征提取模型，以確定鳥瞰圖像對應的第二初始特征圖，包括：將鳥瞰圖像輸入至第二特征提取模型；其中，第二特征提取模型包含第一數量個第二卷積層；由第二特征提取模型中處于第一層的第二卷積層對鳥瞰圖像進行特征提取處理，以得到第二初始特征圖。