[發明專利]使用針對不同圖像場訓練的多個神經網絡進行物體檢測

在審

• 申請號: 201980055920.4
• 申請日: 2019-07-24
• 公開（公告）號: CN112602091A
• 公開（公告）日: 2021-04-02
• 發明（設計）人: S·D·安丘;王北楠;J·格洛斯納
• 申請（專利權）人: 優創半導體科技有限公司
• 主分類號: G06K9/20
• 分類號: G06K9/20;G06K9/00
• 代理公司: 北京泛華偉業知識產權代理有限公司 11280
• 代理人: 王勇

1.一種用于使用多個傳感器裝置檢測物體的方法，包括：

由處理裝置接收圖像幀，所述圖像幀包括由與所述處理裝置相關聯的圖像傳感器捕獲的像素陣列；

由所述處理裝置識別所述圖像幀中的近場圖像段和遠場圖像段；

由所述處理裝置將針對近場圖像段訓練的第一神經網絡應用于所述近場圖像段，以檢測所述近場圖像段中呈現的物體；以及

由所述處理裝置將針對遠場圖像段訓練的第二神經網絡應用于所述遠場圖像段，以檢測所述遠場圖像段中呈現的物體。

2.根據權利要求1所述的方法，其中，所述近場圖像段或所述遠場圖像段中的每一個包括比所述圖像幀更少的像素。

3.根據權利要求1或2所述的方法，其中，所述近場圖像段包括第一數量的像素行，并且所述遠場圖像包括第二數量的像素行，并且其中，所述第一數量的像素行小于所述第二數量的像素行。

4.根據權利要求1或2所述的方法，其中，所述近場圖像段的像素數量少于所述遠場圖像段的像素數量。

5.根據權利要求1或2所述的方法，其中，所述近場圖像段的分辨率低于所述遠場圖像段的分辨率。

6.根據權利要求1或2所述的方法，其中，所述近場圖像段捕獲距所述圖像傳感器的像平面第一距離的場景，并且所述遠場圖像段捕獲距像平面第二距離的場景，并且其中所述第一距離小于所述第二距離。

7.根據權利要求1所述的方法，還包括：

響應于識別所述近場圖像中的第一物體或識別所述遠場圖像段中的第二物體中的至少一個，基于對所述第一物體或所述第二物體的檢測來操作自動駕駛車輛。

8.根據權利要求1所述的方法，還包括：

響應于檢測到所述遠場圖像段中的第二物體，隨著時間推移，通過從與所述遠場圖像段相關聯的范圍到與所述近場圖像段或所述遠場圖像段之一相關聯的范圍的多個圖像幀跟蹤所述第二物體；

基于隨著時間推移跟蹤所述第二物體，確定第二圖像幀中的所述第二物體到達激光雷達傳感器的范圍；

接收由所述激光雷達傳感器捕獲的激光雷達傳感器數據；以及

將經訓練的第三神經網絡應用于所述激光雷達傳感器數據以檢測物體。

9.根據權利要求8所述的方法，還包括：

將所述第一神經網絡應用于所述第二圖像幀的所述近場圖像段，或者將所述第二神經網絡應用于所述第二圖像幀的所述遠場圖像段；以及

使用通過應用所述第三神經網絡檢測到的物體來驗證通過應用所述第一神經網絡或應用所述第二神經網絡中的至少一個檢測到的物體。

10.一種用于使用多個傳感器裝置檢測物體的系統，包括：

圖像傳感器；

用于存儲指令的存儲裝置；以及

處理裝置，其通信地耦合到所述圖像傳感器和所述存儲裝置，用于執行指令以：

接收包括由與所述處理裝置相關聯的圖像傳感器捕獲的像素陣列的圖像幀；

識別所述圖像幀中的近場圖像段和遠場圖像段；

將針對近場圖像段訓練的第一神經網絡應用于所述近場圖像段，以檢測所述近場圖像段中呈現的物體；以及

將針對遠場圖像段訓練的第二神經網絡應用于所述遠場圖像段，以檢測所述遠場圖像段中呈現的物體。

11.根據權利要求10所述的系統，其中，所述近場圖像段或所述遠場圖像段中的每一個包括比所述圖像幀更少的像素。

12.根據權利要求10或11所述的系統，其中，所述近場圖像段包括第一數量的像素行，并且所述遠場圖像包括第二數量的像素行，并且其中，所述第一數量的像素行小于所述第二數量的像素行。

13.根據權利要求10或11所述的系統，其中，所述近場圖像段的像素數量少于所述遠場圖像段的像素數量。