[發明專利]一種基于FPGA的加速自動駕駛視覺感知的方法及裝置

在審

• 申請號: 201711171950.0
• 申請日: 2017-11-22
• 公開（公告）號: CN107885214A
• 公開（公告）日: 2018-04-06
• 發明（設計）人: 周玉山;段成德;于治樓
• 申請（專利權）人: 濟南浪潮高新科技投資發展有限公司
• 主分類號: G05D1/02
• 分類號: G05D1/02
• 代理公司: 濟南信達專利事務所有限公司37100
• 代理人: 劉繼枝

1.一種基于FPGA的加速自動駕駛視覺感知的方法，其特征在于，在自動駕駛系統通過攝像頭獲取周圍信息的過程中，通過FPGA實現神經網絡的方法來實現圖像目標識別加速的作用，將包含有目標信息的數據傳輸給ECU，由ECU綜合各部分信息后做出行車控制。

2.根據權利要求1所述的方法，其特征在于，所述的FPGA接收攝像頭的圖像數據，并對接收的圖像數據做格式處理，并通過神經網絡進行推理。

3.根據權利要求2所述的方法，其特征在于，所述的并對接收的圖像數據做格式處理，包括，

對圖像數據做識別和分類處理。

4.根據權利要求1所述的方法，其特征在于，該方法的步驟如下：

步驟1）將已經訓練好的用于圖像目標識別的神經網絡模型通過FPGA的可編程邏輯設計實現，加載到FLASH內；

步驟2）系統啟動時，通過FLASH加載程序，FPGA對輸入圖像處理后輸出目標識別的結果；

步驟3）車載攝像頭將采集到的視頻圖像數據直接傳輸給FPGA，FPGA內部邏輯對視頻圖像數據做簡單的視頻格式處理，以滿足神經網絡的輸入要求；

步驟4）FPGA的神經網絡模型輸出分類結果，傳輸給ECU，由ECU綜合各部分信息后做出行車控制。

5.根據權利要求4所述的方法，其特征在于，所述的步驟2）中FPGA內部運行的是深度學習的加速模型，對輸入圖像處理后輸出目標識別的結果。

6.根據權利要求4所述的方法，其特征在于，所述的步驟4）FPGA的神經網絡模型輸出分類結果，包含視野內的紅綠燈、行人、行車的信息。

7.一種基于FPGA的加速自動駕駛視覺感知的裝置，其特征在于，包括FPGA、FLASH、ECU、攝像頭及外部存儲器；

所述的FPGA負責對接收的圖像數據做格式處理，并通過神經網絡進行推理；

所述的FLASH用于加載神經網絡模型；

所述的ECU負責綜合各部分信息后做出行車控制。

8.根據權利要求7所述的裝置，其特征在于，所述的攝像頭負責采集車輛行駛中的視頻圖像數據并直接傳輸給FPGA。

9.根據權利要求7所述的裝置，其特征在于，所述的FPGA內部運行的是深度學習的加速模型。