[發明專利]用于自動駕駛車輛中的以物體為中心的立體視覺的方法和系統

在審

• 申請號: 201780091723.9
• 申請日: 2017-09-29
• 公開（公告）號: CN110799982A
• 公開（公告）日: 2020-02-14
• 發明（設計）人: H·鄭;D·W·劉;小T·P·戴利
• 申請（專利權）人: 智加科技公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06K9/68;G06T7/521;G06T7/593
• 代理公司: 11038 中國國際貿易促進委員會專利商標事務所
• 代理人: 劉玉潔

本示教涉及在自動駕駛車輛中處理圖像數據的方法、系統、介質和實施方式。連續不斷地接收由配置在車輛上的一個以上類型的傳感器獲取的傳感器數據。傳感器數據提供關于車輛周圍情況的不同信息。基于由所述一個以上類型傳感器中的第一類型的第一傳感器在特定時間所獲取的第一數據集，檢測物體，其中，第一數據集提供關于車輛周圍情況的第一類型的信息。于是，基于檢測到的物體以及由所述一個以上類型的傳感器中的第一類型的第二傳感器在該特定時間所獲取的第二數據集，在物體層面上，經由以物體為中心的立體視覺，推算物體的深度信息。第二數據集以相比于第一數據集不同的觀點提供關于車輛周圍情況的第一類型的信息。

相關申請的交叉引用

本申請要求于2017年6月6日提交的美國申請15/615,228的優先權，該申請全文并入此處作為參考。

技術領域

本示教一般涉及計算機輔助的感知。具體而言，本示教涉及自適應的計算機輔助感知。

背景技術

隨著近來在人工智能(AI)方面的技術發展，出現了在不同應用領域中應用AI的浪潮。這包括自動駕駛領域，在該領域中，識別并跟蹤車輛周圍的物體或障礙物至關重要。傳統而言，在車輛四周安裝傳感器，以便持續地收集周邊數據。接著，對收集的數據實時地進行分析，從而檢測障礙物，以便控制車輛閃避這些障礙物。2D傳感器和3D傳感器都已經在這些應用中得到使用。例如，可安裝照相機以收集2D圖像，并對這些2D圖像進行分析，以檢測物體。又例如激光雷達(LiDAR)以及其他的3D傳感器可用于收集3D深度數據，從而提供關于車輛與障礙物之間距離的信息。

傳感器相當于是自動駕駛車輛的眼睛。但是，不同傳感器有著不同的局限。例如，已經知道，2D照相機對照明條件非常敏感，比如一天當中不同的時間以及天氣(諸如下雨或下雪)都會產生不同的影響。2D圖像也不能提供深度測量。盡管距離能基于使用多個照相機的傳統的立體視覺(stereo)來推算，這種推算在計算方面成本昂貴，且速度緩慢，經常不能用于生成足夠的密度的深度圖(depth map)。雖然例如激光雷達等的3D傳感器已經用于獲取深度信息以生成周邊障礙物的點云，這種傳感技術也具有范圍有限、以及數據密度低等局限性。

除了傳感器局限以外，當前，自動駕駛領域中的計算機輔助感知系統還有其他的缺點。例如，為了適應不同情況的動態(dynamics)，常常使用學習機制。然而，眾所周知，在學習如何高效的生成有意義的適應用訓練數據方面仍然存在瓶頸問題。傳統而言，訓練數據需要手動或者半手動地進行標記，這使得即時(on-the-fly)適應例如實時地進行自我校正非常困難、即使不是完全做不到。由于涉及手動工作，生成訓練數據不僅太慢，而且成本非常的高。

另外，自動駕駛迄今為止仍停留在示范性展示階段。許多研究和實施沒有將涉及車隊(可能是幾千輛車以上)時所需配置的技術可擴展性(scalability)考慮在內。例如，幾千輛車每天走在路上，頻繁地收集反應許多不同動態的數據。這些數據提供豐富的信息源用于連續的適應調整。然而，由于傳統方法不能即時地對這些數據加標記來產生有意義的訓練數據，如何在車輛運行的同時進行適應仍是個未解決的問題。另外，考慮到車隊能收集的數據的體量，如何基于幾千輛車的經驗進行適應仍是個未能解決的問題。

因此，存在這樣的需求：提供一種用于自動駕駛中的計算機輔助感知系統的、改進的解決方案。

發明內容

這里公開的示教涉及用于在線服務的方法、系統和程序設計。具體而言，本示教涉及用于開發能與用戶對話的虛擬代理的方法、系統和程序設計。