[發明專利]利用循環神經網絡和級聯特征映射的對象檢測

有效

• 申請號: 201810052196.7
• 申請日: 2018-01-19
• 公開（公告）號: CN108388834B
• 公開（公告）日: 2023-08-22
• 發明（設計）人: 蓋伊·霍特森;帕爾薩·馬哈茂迪爾;維迪亞·那利亞姆布特·穆拉里
• 申請（專利權）人: 福特全球技術公司
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/764;G06V10/82;G06N3/0442;G06N3/0464;G06N3/08
• 代理公司: 北京連和連知識產權代理有限公司 11278
• 代理人: 陳黎明

根據一個實施例，一種系統包括傳感器部件和檢測部件。傳感器部件配置成獲取第一傳感器數據流和第二傳感器數據流，其中第一傳感器數據流和第二傳感器數據流中的每一者均包括多個傳感器幀。檢測部件配置成基于第一類型的傳感器幀和第二類型的傳感器幀來生成級聯特征映射。檢測部件配置成基于級聯特征映射來檢測一個或多個對象。生成和檢測的其中一個或多個操作包括利用具有環式聯系的神經網絡來生成或檢測，該環式聯系饋送來自先前的幀的關于特征或對象的信息。

技術領域

本公開大體上涉及用于檢測對象或視覺特征的方法、系統以及設備，并且尤其是涉及利用循環神經網絡和級聯特征映射(concatenated?feature?map)進行對象檢測的方法、系統以及設備。

背景技術

機動車為商業、政府以及私人實體提供了很重要一部分運輸。目前正在將自主車輛和駕駛輔助系統開發和部署成提供安全性，減少所需的用戶輸入量，或甚至完全消除用戶參與。例如，一些駕駛輔助系統(例如防撞系統)可在人類駕駛時監測車輛和其他對象的駕駛、位置以及速度。當系統檢測到即將發生碰撞或撞擊時，防撞系統會介入并且施加制動、使車輛轉向或者執行其他回避或安全操作。作為另一個示例，自主車輛可在很少或沒有用戶輸入的情況下駕駛和導航車輛。基于傳感器數據的對象檢測通常是使自動化駕駛系統或駕駛輔助系統能夠安全地識別和避開障礙或者安全駕駛所必需的。

發明內容

根據本發明，提供一種方法，該方法包括：

基于第一類型的傳感器幀和第二類型的傳感器幀來生成級聯特征映射；以及

基于級聯特征映射來檢測一個或多個對象；

其中生成和檢測的其中一個或多個操作包括利用具有環式聯系的神經網絡來生成或檢測，環式聯系饋送來自先前的幀的關于特征或對象的信息。

根據本發明的一個實施例，方法進一步包括基于第一類型的傳感器幀來生成第一特征映射，并且基于第二類型的傳感器幀來生成第二特征映射，其中生成級聯特征映射包括：基于第一特征映射或第二特征映射中的高層特征來生成。

根據本發明的一個實施例，生成級聯特征映射包括：生成包含來自第一特征映射和第二特征映射兩者的特征的融合特征映射。

根據本發明的一個實施例，第一類型的傳感器幀包括圖像，并且第二類型的傳感器幀包括深度圖。

根據本發明的一個實施例，神經網絡前饋以下所列的一項或多項：

前一級聯特征映射中的特征；

在前一幀或時間段中檢測到的對象；以及

前一傳感器幀中的特征。

根據本發明的一個實施例，第一類型的傳感器幀包括第一類型的第一傳感器幀，第二類型的傳感器幀包括第二類型的第一傳感器幀，級聯特征映射包括第一級聯特征映射，以及一個或多個對象包括一個或多個第一對象，其中方法進一步包括：

基于第一類型的第二傳感器幀和第二類型的第二傳感器幀來生成第二級聯特征映射；

基于第二級聯特征映射來檢測一個或多個第二對象；以及

利用神經網絡的環式聯系來前饋第二級聯特征映射的特征或者一個或多個第二對象中的一項或多項以便生成第一級聯特征映射或者檢測一個或多個第一對象。

根據本發明的一個實施例，神經網絡包括輸入層、一個或多個隱藏層以及分類層，其中在生成級聯特征映射或者檢測一個或多個對象期間，環式聯系將來自先前的幀的分類層的輸出饋送到下列中的一個或多個中：輸入層或者一個或多個隱藏層中的一個隱藏層。

根據本發明的一方面，提供一種系統，包括：