[發明專利]一種基于加速處理的智能光電信息處理系統及方法

有效

• 申請號: 202110158350.0
• 申請日: 2021-02-04
• 公開（公告）號: CN112911171B
• 公開（公告）日: 2022-04-22
• 發明（設計）人: 楊俊彥;印劍飛;鈕賽賽;邵艷明;譚覃燕
• 申請（專利權）人: 上海航天控制技術研究所
• 主分類號: H04N5/33
• 分類號: H04N5/33;G06N3/04;G06N3/08;H04N5/765
• 代理公司: 中國航天科技專利中心 11009
• 代理人: 張曉飛

本發明涉及目標檢測與跟蹤領域，尤其涉及一種基于加速處理的智能光電信息處理系統及方法。通過紅外探測器采集目標機型的圖像序列，并通過WLAN網口將圖像信息傳送給x86主機，然后通過PCIe接口實現與FPGA板卡的通信，并通過FPGA實現基于改進的YOLO v3深度學習網絡計算加速，以及基于粒子濾波算法的位置預推，并保證系統的計算力和低延時，實現紅外目標的實時檢測與跟蹤。

技術領域

本發明屬于圖像目標識別領域，具體涉及一種采用基于FPGA板卡、YOLO v3算法、粒子濾波算法、硬件加速的深度學習目標機型識別方法。

背景技術

傳統的紅外圖像目標識別算法采用DSP處理器來實現基于高斯濾波、閾值分割等傳統圖像算法的紅外目標檢測與跟蹤，面對復雜場景下以及存在多種紅外遮擋、干擾的情況下，難以實現目標的有效檢測與穩定跟蹤。

深度卷積神經網絡因其強大的特征表征能力，已被成功應用于目標檢測和識別領域，并獲得了良好的效果。然而目前尚無專門針對紅外圖像目標識別設計的網絡模型，且卷積神經網絡進行圖像處理時需要強大的運算能力支撐，為了保證圖像識別精度，深度神經網絡的參數數目可以達到千萬甚至億級，現有片上處理器DSP的運算能力遠不能滿足要求。現有的卷積神經網絡通常采用基于GPU來實現網絡的加速實現，然而GPU功耗偏高，如深度學習常用的1080ti板卡的功耗通常在250W左右，不適用于智能光電信息處理系統的低功耗要求，因此，為了實現紅外空中目標的實時檢測與識別，需要開發一種基于嵌入式實現的卷積神經網絡的實時目標識別的智能光電信息處理系統。

發明內容

本發明解決的技術問題是：針對現有技術的不足，提供了一種基于加速處理的智能光電信息處理系統及方法，用于實現紅外空中目標的實時檢測與識別的需求，通過紅外探測器采集目標機型的圖像序列，并通過WLAN網口將圖像信息傳送給x86主機，然后通過PCIe接口實現與FPGA板卡的通信，并通過FPGA實現基于改進的YOLO v3深度學習的網絡計算加速，以及基于粒子濾波算法的位置預推，并保證系統的計算力和低延時，實現紅外目標的實時檢測與跟蹤。

本發明的技術解決方案是：一種基于加速處理的智能光電信息系統，包括紅外圖像采集設備、智能光電信息處理上位機、FPGA加速單元；紅外采集設備負責紅外圖像的實時采集，并通過WLAN網口傳輸方式將采集得到的紅外圖像通過UDP協議發送給x86主機上的智能光電信息處理上位機，上位機在接收到紅外數據后依據UDP協議進行拆包，將拆包得到的圖像數據發送給FPGA加速單元，FPGA加速單元運行基于改進的YOLOv3網絡算法實現目標識別，依據識別結果的目標位置信息和目標類別信息，結合粒子濾波算法進行目標位置的預測，實現對于紅外圖像序列的實時、在線目標識別與跟蹤，并將跟蹤結果在上位機中進行顯示。

所述基于改進的YOLOv3網絡算法實現目標識別，針對在嵌入式設備使用卷積神經網絡進行目標檢測時，對YOLO v3進行改進，具體步驟包括如下內容：

a)將網絡的輸入從224*224*3改為256*256*1，符合實時采集的圖片分辨率大小；

b)利用MobileNet輕量網絡替換YOLO v3的darknet53基礎網絡；

c)合并卷積層與批歸一化BN層；

d)重新計算候選框尺寸；

e)去掉網絡的上采樣過程；

所述步驟c)合并卷積層與BN層，具體過程為：合并YOLO v3中的卷積層和卷積層之后的BN層后，輸出為：其中x_out為卷積層和BN層合并后的輸出，x_i為卷積層的輸入，w′_i為合并后的權重參數，其中γ為縮放因子，σ²為卷積層輸入x_i的方差；