[發明專利]用于自主車輛運行的圖像融合

在審

• 申請號: 202010536866.X
• 申請日: 2020-06-12
• 公開（公告）號: CN112085047A
• 公開（公告）日: 2020-12-15
• 發明（設計）人: 王一杰;劉思遠;葛凌廷;黃澤鏵
• 申請（專利權）人: 圖森有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/00;G06K9/32;G06K9/34
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 董莘

公開了用于自主車輛運行的圖像融合。描述了用于融合來自自主車輛中車載相機的實時圖像饋送的場景以減少所處理的信息的冗余以實現實時自主操作的設備、系統和方法。一種用于改進自主車輛中的感知的方法的一個示例包括：接收多個裁剪圖像，其中多個裁剪圖像中的每一個包括對應于相應裁剪圖像中的一個或多個物體的一個或多個邊界框；基于多個裁剪圖像中的元數據，識別第一裁剪圖像中的第一邊界框和第二裁剪圖像中的第二邊界框，其中第一和第二邊界框對應于共有物體；以及對來自第一裁剪圖像和第二裁剪圖像的與共有物體相對應的元數據進行融合，以產生用于共有物體的輸出結果。

技術領域

本文件總體涉及用于改進自主車輛駕駛的圖像處理。

背景技術

自主車輛導航是一種感知車輛的位置和運動，并基于所述感知自主控制車輛向目的地導航的技術。自主車輛導航在人員、貨物和服務的運輸中具有重要的應用。自主駕駛的一個組成部分(該組成部分確保車輛和其乘客、以及車輛附近的人員和財產的安全)，是多個攝像頭的使用以及駕駛算法對安全和機動的實時響應能力。

發明內容

公開了用于融合來自自主車輛中車載相機的實時圖像饋送的場景的設備、系統和方法，以減少所處理的信息的冗余，從而能夠實時自主操作。在一個方面，所公開的技術可用于提供一種改進自主車輛中的感知的方法。該方法包括：接收多個裁剪圖像，其中多個裁剪圖像中的每一個包括對應于對應裁剪圖像中的一個或多個物體的一個或多個邊界框；基于多個裁剪圖像中的元數據，識別第一裁剪圖像中的第一邊界框和第二裁剪圖像中的第二邊界框，其中第一和第二邊界框對應于共有物體；以及融合與來自第一裁剪圖像和第二裁剪圖像的共有物體相對應的元數據，以生成用于共有物體的輸出結果。

在另一個方面，上述方法以處理器可執行代碼的形式實現并存儲在計算機可讀程序介質中。

在又一方面，公開了一種被配置或可操作以執行上述方法的設備。該設備可以包括被編程以實現該方法的處理器。

在附圖、說明書和權利要求書中更詳細地描述了所公開技術的上述和其它方面和特征。

附圖說明

圖1示出了對從自主車輛的多個相機獲得的圖像執行圖像處理的示例性遠距離感知系統的框圖。

圖2A和圖2B示出了產生用于融合實時圖像饋送的不同場景的輸入的預處理的示例。

圖3示出了融合實時圖像饋送的不同場景的工作流程的示例。

圖4A和圖4B示出了基于檢測到的物體的特征來融合兩個裁剪圖像的示例。

圖5示出了基于檢測到的物體的特征融合兩個裁剪圖像的另一示例。

圖6示出了根據所公開技術的實施例改進自主車輛中的感知的示例方法的流程圖。

圖7示出了可以實現本文件中描述的一些技術的硬件平臺的示例。

具體實施方式

在控制車輛運行的技術方面，運輸業一直在經歷著相當大的變化。如在汽車乘用車中所例示的，已經存在將更多的操作性和導航性決策從人類駕駛轉移到車載計算能力的總體進展。這在眾多開發不足的自主車輛中得到了極端的例證。當前的實現處于中間階段，例如一些車輛中的部分自主操作(例如，自主加速和導航，但需要駕駛員在場且專注)、一些車輛的安全保護操作(例如，保持安全跟隨距離和自動制動)、一些車輛的安全保護警告(例如，側視鏡中的盲區指示器和接近傳感器)、以及易用操作(例如，自主平行停車)。

根據SAE International的J3016標準，這些不同類型的自主車輛已被劃分為不同的自動化級別，范圍從車輛沒有自動化的0級到4級(L4)，4級(L4)的特征是車輛在沒有人類輸入或監督、但僅在由諸如道路類型或地理區域的因素定義的選定條件下運行，以及5級(L5)的特征是無人駕駛汽車可以在人類駕駛員可以協商的任何道路和任何環境中運行。