[發明專利]利用循環神經網絡和級聯特征映射的對象檢測

有效

• 申請號: 201810052196.7
• 申請日: 2018-01-19
• 公開（公告）號: CN108388834B
• 公開（公告）日: 2023-08-22
• 發明（設計）人: 蓋伊·霍特森;帕爾薩·馬哈茂迪爾;維迪亞·那利亞姆布特·穆拉里
• 申請（專利權）人: 福特全球技術公司
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/764;G06V10/82;G06N3/0442;G06N3/0464;G06N3/08
• 代理公司: 北京連和連知識產權代理有限公司 11278
• 代理人: 陳黎明

1.?一種基于傳感器數據進行對象檢測的方法，包括：

基于第一類型的傳感器幀和第二類型的傳感器幀來生成級聯特征映射；以及

基于所述級聯特征映射來檢測一個或多個對象；

其中生成和檢測的其中一個或多個操作包括利用具有環式聯系的神經網絡來生成或檢測，所述環式聯系饋送來自先前的幀的關于特征或對象的信息；

其中所述第一類型的所述傳感器幀包括圖像，并且其中所述第二類型的所述傳感器幀包括深度圖。

2.?根據權利要求1所述的方法，其中所述方法包括下列一個或多個步驟：

基于所述第一類型的所述傳感器幀來生成第一特征映射，并且基于所述第二類型的所述傳感器幀來生成第二特征映射，其中生成所述級聯特征映射包括：基于所述第一特征映射或所述第二特征映射中的高層特征來生成；以及

其中生成所述級聯特征映射包括：生成包含來自所述第一特征映射和所述第二特征映射兩者的所述特征的融合特征映射。

3.根據權利要求1所述的方法，其中所述神經網絡前饋以下所列的一項或多項：

前一級聯特征映射中的特征；

在前一幀或時間段中檢測到的對象；以及

前一傳感器幀中的特征。

4.根據權利要求1所述的方法，其中所述神經網絡包括輸入層、一個或多個隱藏層以及分類層，其中在生成所述級聯特征映射或者檢測所述一個或多個對象期間，所述環式聯系將來自所述先前的幀的所述分類層的輸出饋送到以下所列的一個或多個中：所述輸入層或者所述一個或多個隱藏層中的一個隱藏層。

5.根據權利要求1所述的方法，其中所述方法包括以下所列的一項或多項：

其中所述第一類型的所述傳感器幀包括所述第一類型的第一傳感器幀，所述第二類型的所述傳感器幀包括所述第二類型的第一傳感器幀，所述級聯特征映射包括第一級聯特征映射，以及所述一個或多個對象包括一個或多個第一對象，其中所述方法進一步包括：

基于所述第一類型的第二傳感器幀和所述第二類型的第二傳感器幀來生成第二級聯特征映射；

基于所述第二級聯特征映射來檢測一個或多個第二對象；以及

利用所述神經網絡的所述環式聯系來前饋所述第二級聯特征映射的特征或者所述一個或多個第二對象中的一項或多項以便生成所述第一級聯特征映射或者檢測所述一個或多個第一對象。

6.一種基于傳感器數據進行對象檢測的系統，包括：

一個或多個傳感器部件，所述一個或多個傳感器部件配置成獲取第一傳感器數據流和第二傳感器數據流，其中所述第一傳感器數據流和所述第二傳感器數據流中的每一者均包括多個傳感器幀；

檢測部件，所述檢測部件配置成：

基于第一類型的傳感器幀和第二類型的傳感器幀來生成級聯特征映射；以及

基于所述級聯特征映射來檢測一個或多個對象；

其中生成和檢測的其中一個或多個操作包括利用具有環式聯系的神經網絡來生成或檢測，所述環式聯系饋送來自先前的幀的關于特征或對象的信息；

其中所述第一類型的所述傳感器幀包括圖像，并且其中所述第二類型的所述傳感器幀包括深度圖。

7.?根據權利要求6所述的系統，其中所述檢測部件進一步配置成執行以下所列的一項或多項操作：

基于所述第一類型的所述傳感器幀來生成第一特征映射，并且基于所述第二類型的所述傳感器幀來生成第二特征映射，其中所述檢測部件通過基于所述第一特征映射或所述第二特征映射中的高層特征生成來生成所述級聯特征映射；以及

通過生成包含來自所述第一特征映射和所述第二特征映射兩者的所述特征的融合特征映射來生成所述級聯特征映射。