[發(fā)明專利]圖像融合方法、自動駕駛控制方法、裝置和設備

在審

• 申請?zhí)枺?/td>: 201811145276.3
• 申請日: 2018-09-29
• 公開（公告）號: CN110969592A
• 公開（公告）日: 2020-04-07
• 發(fā)明（設計）人: 屈孝志;馬騰
• 申請（專利權）人: 北京嘀嘀無限科技發(fā)展有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06F3/0481
• 代理公司: 北京超成律師事務所 11646
• 代理人: 鄧超

本申請?zhí)峁┝艘环N圖像融合方法、自動駕駛控制方法、裝置和設備；其中，該方法包括：從目標環(huán)境的2D圖像中獲取指定標志物對應的圖標和圖標的第一位置；在目標環(huán)境的3D點云圖像中，根據第一位置確定指定標志物的第二位置；根據第二位置，從3D點云圖像中提取指定標志物對應的平面區(qū)域；將指定標志物對應的圖標融合至3D點云圖像的平面區(qū)域。本申請通過將2D圖像中的標志物圖標融合至3D點云圖像中，豐富了3D點云圖像的信息量，擴展了標志物的使用場景。

技術領域

本申請涉及互聯網技術領域，尤其涉及一種圖像融合方法、自動駕駛 控制方法、裝置和設備。

背景技術

在地圖重建、自動駕駛等領域中，常常需要檢測并識別環(huán)境中的標志 物，如路牌、路標、地面指示標等交通標志，以及廣告牌、商鋪牌或其他 標志物；現有的標志物檢測識別方式，大多通過圖像處理或機器學習等技 術實現，但這些方式通常是二維平面上的內容識別，信息比較單一，難以 滿足用戶多樣化的需求。

發(fā)明內容

有鑒于此，本申請實施例提供一種圖像融合方法、自動駕駛控制方法、 裝置和設備，以豐富標志物檢測的信息量，擴展標志物的使用場景，從而 滿足用戶多樣化的需求。

主要包括以下幾個方面：

第一方面，本申請實施例提供了一種圖像融合方法，該方法包括：從 目標環(huán)境的2D圖像中獲取指定標志物對應的圖標和圖標的第一位置；在 目標環(huán)境的3D點云圖像中，根據第一位置確定指定標志物的第二位置； 根據第二位置，從3D點云圖像中提取指定標志物對應的平面區(qū)域；將指 定標志物對應的圖標融合至3D點云圖像的平面區(qū)域。

在本發(fā)明較佳的實施例中，上述從目標環(huán)境的2D圖像中獲取指定標 志物對應的圖標和圖標的第一位置的步驟之前，方法還包括：通過攝像裝 置獲取目標環(huán)境的2D圖像；通過激光雷達獲取目標環(huán)境的3D點云圖像。

在本發(fā)明較佳的實施例中，上述從目標環(huán)境的2D圖像中獲取指定標 志物對應的圖標的步驟，包括：從目標環(huán)境的2D圖像中檢測指定標志物 對應的初始區(qū)域；從初始區(qū)域中提取指定標志物的邊緣線條，將邊緣線條 所包圍的圖像確定為指定標志物對應的圖標。

在本發(fā)明較佳的實施例中，上述從目標環(huán)境的2D圖像中檢測指定標 志物對應的初始區(qū)域的步驟，包括：采用深度學習的方式，從目標環(huán)境的 2D圖像中檢測指定標志物對應的初始區(qū)域；或者，采用深度學習和跟蹤 結合的方式，從目標環(huán)境的2D圖像中檢測指定標志物對應的初始區(qū)域。

在本發(fā)明較佳的實施例中，上述從初始區(qū)域中提取指定標志物的邊緣 線條的步驟，包括：如果指定標志物為三角形或矩形，對初始區(qū)域進行線 段分割檢測LSD，得到指定標志物的多個線段；根據線段間的頂點位置和 連接關系，得到指定標志物的邊緣線條；如果指定標志物為圓形，在初始 區(qū)域中進行橢圓擬合，得到指定標志物的邊緣線條。

在本發(fā)明較佳的實施例中，上述指定標志物對應的圖標的第一位置的 獲取過程包括：確定初始區(qū)域在目標環(huán)境的2D圖像中的坐標；根據2D 圖像的拍攝位置和初始區(qū)域的坐標，確定初始區(qū)域的地理位置；將圖像初 始區(qū)域的地理位置作為指定標志物對應的圖標的第一位置。

在本發(fā)明較佳的實施例中，上述從初始區(qū)域中提取指定標志物的邊緣 線條，將邊緣線條所包圍的圖像確定為指定標志物對應的圖標包括：從初 始區(qū)域中提取指定標志物的邊緣線條；判斷邊緣線條組成的當前形狀是否 發(fā)生透視形變；如果是，根據當前形狀所屬的圖形類別調整邊緣線條和邊 緣線條包圍的圖像；將調整后邊緣線條所包圍的圖像確定為指定標志物對 應的圖標。

在本發(fā)明較佳的實施例中，上述判斷邊緣線條組成的當前形狀是否發(fā) 生透視形變的步驟，包括：識別指定標志物的邊緣線條組成的當前形狀所 屬的圖形類別；判斷當前形狀是否屬于圖形類別對應的標準形狀；如果否， 確定當前形狀發(fā)生透視形變。