[發明專利]基于DNNDK模型的運動目標實時檢測跟蹤系統及方法

在審

• 申請號: 202010343445.5
• 申請日: 2020-04-27
• 公開（公告）號: CN111429486A
• 公開（公告）日: 2020-07-17
• 發明（設計）人: 張燕;陳峰;陳廣輝;焉保卿;楊玉寬;趙明建;胡紅磊
• 申請（專利權）人: 山東萬騰電子科技有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06K9/00;G06K9/62;G06N3/04;G06N3/08;H04N7/18
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 黃海麗

1.基于DNNDK模型的運動目標實時檢測跟蹤系統，其特征是，包括：MPSoC芯片、驅動器、云臺、攝像頭、內存、電源和顯示器；其中，MPSoC芯片包括彼此連接的PS模塊和PL模塊；

所述云臺上搭載攝像頭，所述攝像頭在所監視范圍內進行360度的旋轉拍攝；所拍攝的圖像輸送到內存進行緩存；

MPSoC芯片的PS模塊從內存中讀取圖像，并將圖像傳輸給PL模塊，PL模塊對圖像進行預處理，然后將預處理后的圖像輸入到PL模塊的深度學習處理單元DPU，得到Darknet-53網絡結構的兩個網絡分支的yolo層數據；將Darknet-53網絡結構的兩個網絡分支的yolo層數據發送給PS模塊；

所述深度學習處理單元DPU中部署有訓練好的YOLOv3算法的Darknet-53網絡結構，所述訓練好的YOLOv3算法的Darknet-53網絡結構是通過深度神經網絡開發工具包DNNDK進行處理后部署到深度學習處理單元DPU中的；

MPSoC芯片的PS模塊對Darknet-53網絡結構的兩個網絡分支的yolo層數據進行處理，根據設定閾值對目標候選框進行篩選，得到最終的待檢測跟蹤目標的坐標位置，根據最終的待檢測跟蹤目標的坐標位置生成云臺轉動的控制指令，將生成的云臺轉動控制指令發送給驅動器，驅動器控制云臺轉動，云臺帶動攝像頭轉動，轉動后的攝像頭進行下一個視角的圖像拍攝。

2.基于DNNDK模型的運動目標實時檢測跟蹤方法，其特征是，包括：

攝像頭對待檢測跟蹤目標進行視頻采集，獲得待檢測跟蹤目標的視頻流；將視頻流傳送給內存進行存儲；

MPSoC芯片的PS模塊從內存中讀取圖像，并將圖像傳輸給PL模塊，PL模塊對圖像進行預處理；將預處理后的圖像輸入到PL模塊的深度學習處理單元DPU，得到Darknet-53網絡結構的兩個網絡分支的yolo層數據；將Darknet-53網絡結構的兩個網絡分支的yolo層數據發送給PS模塊；

所述深度學習處理單元DPU中部署有訓練好的YOLOv3算法的Darknet-53網絡結構，所述訓練好的YOLOv3算法的Darknet-53網絡結構是通過深度神經網絡開發工具包DNNDK進行處理后部署到深度學習處理單元DPU中的；

MPSoC芯片的PS模塊對Darknet-53網絡結構的兩個網絡分支的yolo層數據進行處理，根據設定閾值對目標候選框進行篩選，得到最終的待檢測跟蹤目標的坐標位置，根據最終的待檢測跟蹤目標的坐標位置生成云臺轉動的控制指令，將生成的云臺轉動控制指令發送給驅動器，驅動器控制云臺轉動，云臺帶動攝像頭轉動，轉動后的攝像頭進行下一個視角的圖像拍攝。

3.如權利要求2所述的方法，其特征是，所述MPSoC芯片的PS模塊對Darknet-53網絡結構的兩個網絡分支的yolo層數據進行處理，根據設定閾值對目標候選框進行篩選，得到最終的待檢測跟蹤目標的坐標位置，具體步驟包括：

MPSoC芯片的PS模塊對Darknet-53網絡結構的兩個網絡分支的yolo層數據進行處理，根據設定閾值對目標候選框進行篩選，對于置信度小于設定閾值的目標候選框予以刪除，對置信度大于閾值的目標候選框視為最終目標框；進而得到最終待檢測跟蹤目標的坐標位置；所述最終待檢測跟蹤目標的坐標位置是最終目標框的坐標(x,y,w,h)，其中，x表示最終目標框的橫坐標，y表示最終目標框的縱坐標，w表示最終目標框的寬，h表示最終目標框的高。

4.如權利要求2所述的方法，其特征是，MPSoC芯片設有SD卡接口槽，所述SD卡接口槽中安裝SD卡，所述SD卡上部署Linux系統，當MPSoC芯片通電以后，MPSoC芯片通過SD卡進行系統啟動。