[發明專利]基于DNNDK模型的運動目標實時檢測跟蹤系統及方法

在審

• 申請號: 202010343445.5
• 申請日: 2020-04-27
• 公開（公告）號: CN111429486A
• 公開（公告）日: 2020-07-17
• 發明（設計）人: 張燕;陳峰;陳廣輝;焉保卿;楊玉寬;趙明建;胡紅磊
• 申請（專利權）人: 山東萬騰電子科技有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06K9/00;G06K9/62;G06N3/04;G06N3/08;H04N7/18
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 黃海麗

本發明公開了基于DNNDK模型的運動目標實時檢測跟蹤系統及方法，MPSoC芯片的PS模塊從內存中讀取拍攝的圖像，并將圖像傳輸給PL模塊，PL模塊對圖像進行預處理，將預處理后的圖像輸入到PL模塊的DPU，DPU將得到的Darknet?53網絡結構的兩個網絡分支的yolo層數據發送給PS模塊；DPU中部署有訓練好的YOLOv3算法的Darknet?53網絡結構，網絡結構是通過工具包DNNDK進行處理后部署到DPU中的；MPSoC的PS模塊根據閾值對目標候選框進行篩選，得到最終目標坐標位置，根據最終位置生成云臺轉動控制指令，將指令發送給驅動器，驅動器控制云臺轉動帶動攝像頭轉動進行下一個視角的拍攝。

技術領域

本公開涉及目標檢測跟蹤技術領域，特別是涉及基于DNNDK模型的運動目標實時檢測跟蹤系統及方法。

背景技術

本部分的陳述僅僅是提到了與本公開相關的背景技術，并不必然構成現有技術。

深度學習方興未艾，隨著硬件性能的不斷提高，深度學習越來越多的在各行各業中得到應用。然而，從問題定義到問題解決經歷的整個過程卻沒有那么簡單。例如，采用深度學習進行運動目標實時檢測跟蹤時，首先需要采集運動目標相關的圖像素材，開始對其進行標記，其次選擇一個深度學習算法框架，搭建訓練環境，配置各種參數，并選用或者自己編寫一種適合的神經網絡模型進行訓練，然后把訓練好的模型部署到硬件平臺上進行深度學習，檢測跟蹤運動目標。但是，發明人發現生成好的模型文件如何部署到硬件平臺上，硬件資源是否夠用是整個過程中需要集中解決的問題。

發明內容

為了解決現有技術的不足，本公開提供了基于DNNDK模型的運動目標實時檢測跟蹤系統及方法；

第一方面，本公開提供了基于DNNDK模型的運動目標實時檢測跟蹤系統；

基于DNNDK模型的運動目標實時檢測跟蹤系統，包括：MPSoC芯片、驅動器、云臺、攝像頭、內存、電源和顯示器；其中，MPSoC芯片包括彼此連接的PS模塊(Processing System，處理系統)和PL模塊(Programmable Logic，可編程邏輯)；

所述云臺上搭載攝像頭，所述攝像頭在所監視范圍內進行360度的旋轉拍攝；所拍攝的圖像輸送到內存進行緩存；

MPSoC芯片的PS模塊從內存中讀取圖像，并將圖像傳輸給PL模塊，PL模塊對圖像進行預處理，然后將預處理后的圖像輸入到PL模塊的深度學習處理單元DPU，得到Darknet-53網絡結構的兩個網絡分支的yolo層數據；將Darknet-53網絡結構的兩個網絡分支的yolo層數據發送給PS模塊；

所述深度學習處理單元DPU中部署有訓練好的YOLOv3算法的Darknet-53網絡結構，所述訓練好的YOLOv3算法的Darknet-53網絡結構是通過深度神經網絡開發工具包DNNDK進行處理后部署到深度學習處理單元DPU中的；

MPSoC芯片的PS模塊對Darknet-53網絡結構的兩個網絡分支的yolo層數據進行處理，根據設定閾值對目標候選框進行篩選，得到最終的待檢測跟蹤目標的坐標位置，根據最終的待檢測跟蹤目標的坐標位置生成云臺轉動的控制指令，將生成的云臺轉動控制指令發送給驅動器，驅動器控制云臺轉動，云臺帶動攝像頭轉動，轉動后的攝像頭進行下一個視角的圖像拍攝。

第二方面，本公開提供了基于DNNDK模型的運動目標實時檢測跟蹤方法；

基于DNNDK模型的運動目標實時檢測跟蹤方法，包括：

攝像頭對待檢測跟蹤目標進行視頻采集，獲得待檢測跟蹤目標的視頻流；將視頻流傳送給內存進行存儲；