[發明專利]點云與圖像融合方法及裝置

在審

• 申請號: 202010136592.5
• 申請日: 2020-03-02
• 公開（公告）號: CN113362383A
• 公開（公告）日: 2021-09-07
• 發明（設計）人: 高文;崔金林;王博;徐峣;郝志成
• 申請（專利權）人: 華為技術有限公司;中國科學院長春光學精密機械與物理研究所
• 主分類號: G06T7/521
• 分類號: G06T7/521;G06T7/33;G01S17/89;G01S17/86;G01S17/931;G01S7/481
• 代理公司: 北京中博世達專利商標代理有限公司 11274
• 代理人: 申健

本申請公開了點云與圖像融合方法及裝置，有助于提高獲取的融合點云的準確性。該點云和圖像融合的方法應用于計算機設備，該方法包括：獲取第一點云。其中，第一點云是用于描述自動駕駛環境中第一場景的點云。第一點云包括第一子點云和第二子點云，第一子點云和第二子點云分別用于描述第一場景中的第一子場景和第二子場景。獲取第一圖像；其中，第一圖像是用于描述第一場景的圖像。將第一圖像劃分為多個子圖像。其中，多個子圖像包括第一子圖像和第二子圖像，第一子圖像和第二子圖像分別用于描述第一子場景和第二子場景。將多個子圖像中的每個子圖像劃分為多個圖像塊，基于多個圖像塊，融合第一點云和第一圖像。

技術領域

本申請涉及數據融合技術領域，尤其涉及點云與圖像融合方法及裝置。

背景技術

為滿足汽車自動駕駛環境感知的需要，激光雷達(lidar light detection andranging)與相機相結合進行環境探測已成為目前探測環境的主要形式之一。如圖1所示，包含相機、激光雷達與計算機設備的環境探測系統，針對同一場景(如：自然環境中的任意一個場景，該場景包括樹木，電線桿，路燈，交通標志牌和車道線等)，相機獲取圖像，激光雷達獲取點云(point cloud)，點云由多個掃描點構成。計算機設備接收圖像和點云，并將圖像劃分為多個相同大小的圖像塊。計算機設備將具有對應關系的掃描點與圖像塊融合，得到融合點云。該融合點云，用于自動駕駛汽車的導航和避障。

當前，計算機設備基于整個圖像，將圖像劃分為多個相同大小的圖像塊，極易造成融合點云產生匹配誤差和/或重影，甚至匹配錯誤，導致計算機設備獲取的融合點云準確性差，不利于自動駕駛汽車的導航和避障。

發明內容

本申請的實施例提供點云與圖像融合方法及裝置，能夠減少融合點云產生的匹配誤差和/或重影，從而提高獲取的融合點云的準確性。

為達到上述目的，本申請的實施例采用如下技術方案：

第一方面，提供一種點云和圖像融合的方法，應用于計算機設備，該方法包括：獲取第一點云。其中，第一點云是用于描述自動駕駛環境中第一場景的點云。第一點云包括第一子點云和第二子點云，第一子點云和第二子點云分別用于描述第一場景中的第一子場景和第二子場景，第一子場景和第二子場景分別是點云采集設備的第一視場分區和第二視場分區下的子場景。獲取第一圖像。其中，第一圖像是用于描述第一場景的圖像。將第一圖像劃分為多個子圖像。其中，多個子圖像包括第一子圖像和第二子圖像，第一子圖像和第二子圖像分別用于描述第一子場景和第二子場景。將多個子圖像中的每個子圖像劃分為多個圖像塊。基于多個圖像塊，融合第一點云和第一圖像。這樣，計算機設備基于點云采集設備的視場分區將第一點云區分為多個子點云，基于視場分區將第一圖像劃分為多個子圖像，并將每個子圖像劃分為多個圖像塊，劃分得到的多個圖像塊中的一個圖像塊中不會包括兩個子圖像中的像素點，從而避免因一個圖像塊中包括兩個子圖像中的像素點導致融合數據重影的問題，從而提高了得到的融合點云的準確性，利于自動駕駛汽車的導航和避障。

在一種可能的實現方式中，將多個子圖像中的每個子圖像劃分為多個圖像塊，包括：將第一子圖像劃分為多個第一圖像塊。其中，不同第一圖像塊的大小相同。將第二子圖像劃分為多個第二圖像塊。其中，不同第二圖像塊的大小相同。