[發明專利]用于道路標志檢測和評估的流水線架構

在審

• 申請號: 202211073785.6
• 申請日: 2022-09-02
• 公開（公告）號: CN115761661A
• 公開（公告）日: 2023-03-07
• 發明（設計）人: M.卡布卡布
• 申請（專利權）人: 偉摩有限責任公司
• 主分類號: G06V20/56
• 分類號: G06V20/56;G06V20/62;G06V10/764
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 李琳

本技術提供了標志檢測和分類方法。統一的流水線方法將通用標志檢測與穩健的并行分類策略相結合。諸如相機影像和激光雷達深度、強度和高度(高程)信息的傳感器信息被應用于標志檢測器模塊。這使得系統能夠檢測車輛的外部環境中的標志的存在。將模塊化分類方法應用于檢測到的標志。這包括選擇性地應用一個或多個訓練的機器學習分類器，以及文本和符號檢測器。注釋有助于將分類信息聯系在一起，并解決來自不同分類器的不同輸出的任何沖突。識別標志在車輛周圍環境中的位置可以提供上下文細節。識別的標牌可以與車輛駕駛環境中的其他對象相關聯，這可以用于協助車輛自主駕駛。

技術領域

本發明涉及用于道路標志檢測和評估的流水線架構。

背景技術

以自主駕駛模式操作的車輛可以將乘客或貨物或其他物品從一個位置運輸到另一個位置。在自主駕駛時，車輛將使用感知系統來使用一個或多個傳感器來感知和解釋其周圍。例如，感知系統和/或車輛的計算設備可以處理來自這些傳感器的數據以便識別對象及其特性，諸如位置、形狀、大小、朝向、加速度或減速度、速度、類型等。該信息對于車輛的計算系統為車輛做出適當的駕駛決策是重要的。一個重要類型的對象是標牌(signage)。有諸如速度限制標志、讓行標志、停止標志等的許多類型的標志來通知或指示道路使用者。無法快速檢測和理解標志的含義可能不利地影響車輛自主操作。

發明內容

本技術涉及統一標志檢測和分類方法。統一流水線方法將通用標志檢測與穩健的并行分類策略相結合。可以應用注釋來將分類信息聯系在一起，并解決任何沖突。識別標志在車輛周圍環境中的位置可以提供上下文細節，并且識別的標牌可以與車輛駕駛環境中的其他對象相關聯，這可以用于協助車輛自主駕駛。該方法可擴展，以增加對新標志類型的支持，這對于本地或特定區域的標牌是有幫助的。

根據一個方面，提供了一種控制以自主駕駛模式操作的車輛的方法。該方法包括由車輛感知系統的一個或多個傳感器接收與車輛的外部環境中的對象相關聯的傳感器數據，該傳感器數據包括相機影像和激光雷達數據；由車輛的計算系統的一個或多個處理器將通用標志檢測器應用于傳感器數據，以識別一個或多個道路標志是否存在于車輛的外部環境中；由一個或多個處理器根據通用標志檢測器識別道路標志存在于車輛的外部環境中；由一個或多個處理器根據通用標志檢測器預測道路標志的屬性；由一個或多個處理器基于預測的道路標志的屬性，將道路標志的圖像路由到一組標志分類器中的一個或多個選擇的標志分類器，以執行圖像的特定標志類型的評估；由一個或多個處理器將道路標志的圖像路由到文本和符號檢測器，以識別圖像中的任何文本或符號；由一個或多個處理器基于(i)來自由每個選擇的標志分類器進行的特定標志類型的評估的分類結果和(ii)由文本和符號檢測器識別的任何文本或符號信息，向道路標志注釋標志類型；以及由一個或多個處理器基于注釋標志類型確定是否使車輛以自主駕駛模式執行駕駛動作。激光雷達數據可以包括深度信息、強度信息或高度信息中的至少一個。

在一個示例中，該方法還包括在注釋標志類型時，執行標志定位操作。在另一個示例中，該方法還包括，在注釋標志類型時，執行標志-對象關聯操作。一個或多個選擇的標志分類器可以包括從由停止標志分類器、速度限制標志分類器、標志顏色分類器或管制標志分類器組成的所述一組標志分類器中選擇的一個或多個標志分類器。

道路標志的屬性可以包括背景顏色、形狀、安放、深度或走向中的至少一個。這里，安放可以是手持的、臨時的或永久的。

在另一個示例中，識別道路標志存在包括生成或存儲關于在車輛的外部環境中檢測到的對象的細節的集合。這里，識別道路標志存在還可以包括評估關于相機型號或相機圖像時間戳的信息。

每個選擇的標志分類器可以輸出特定的標志類型或者對未知類型的指示。將圖像路由到一個或多個選擇的標志分類器，以及將圖像路由到文本和符號檢測器，可以包括裁剪道路標志四周的區域。通用標志檢測器可以被訓練為基于傳感器數據來識別是否存在任何道路標志。并且所述一組標志分類器中的每個分類器可以基于裁剪的影像被分開地訓練，以識別相應的標志類型。