[發明專利]一種對目標物的檢測跟蹤系統及其方法

在審

• 申請號: 202110247972.0
• 申請日: 2021-03-06
• 公開（公告）號: CN112950673A
• 公開（公告）日: 2021-06-11
• 發明（設計）人: 徐雅楠;張燕;陳廣輝;陳峰;楊玉寬;趙明建;焉保卿
• 申請（專利權）人: 山東萬騰電子科技有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06K9/32;G06K9/62;G06N3/04
• 代理公司: 合肥晨創知識產權代理事務所(普通合伙) 34162
• 代理人: 康培培

1.一種對目標物的檢測跟蹤系統，其特征在于，包括：片上多處理MPSoC模塊、鏡頭、云臺、通訊模塊和外設模塊；

其中，所述云臺通過RS485接口與所述MPSoC模塊連接，所述云臺用于接收所述MPSoC模塊發送的控制命令，并帶動所述鏡頭在水平范圍內進行360度的旋轉和/或垂直范圍內的180度俯仰轉動，所述云臺還用于調節所述鏡頭的焦距；

所述鏡頭搭載于所述云臺上，通過低電壓差分信號LVDS接口與所述MPSoC模塊連接，用于采集所述目標物的LVDS，所述鏡頭還用于將采集的LVDS通過LVDS接口發送到所述MPSoC模塊的視頻圖像處理單元VIPU；

所述MPSoC模塊包括處理系統PS和可編程邏輯PL，所述PS包括四核處理系統、圖像處理單元GPU，所述四核處理系統用于運行C++應用程序和所述云臺的控制程序；所述PL包括所述VIPU、深度學習處理單元DPU和視頻編碼單元VCU，所述PS與PL通過AXI高速總線連接；

所述通訊模塊，用于所述檢測跟蹤系統的無線通信，所述通訊包括以太網模塊、5G模塊和WiFi模塊；

所述外設模塊，包括存儲器、電源、鍵盤、鼠標、顯示器。

2.根據權利要求1所述的檢測跟蹤系統，其特征在于，所述鏡頭為LVDS相機模組，用于采集LVDS；

所述VIPU用于將所述鏡頭采集的LVDS轉換為24bit的RGB視頻圖像數據，所述RGB視頻圖像數據大小為1600*900，所述VIPU還用于將所述RGB視頻圖像數據由RGB格式轉換為BGR視頻圖像數據，將所述BGR視頻圖像數據由1600*900縮小為608*608，并將所述將縮小后的BGR視頻圖像數據發送到所述DPU；

所述DPU，用于接收所述縮小后的BGR視頻圖像數據，并對所述縮小后的BGR視頻圖像數據進行yolov3算法卷積處理，得到所述目標物的yolo層數據；

所述四核處理器，用于從所述目標物的yolo層數據中篩選出滿足閾值條件的N個候選框；對所述N個候選框根據置信度從大到小進行排序；從所述排序后的所述N個候選框中篩選出目標框，其中，N為正整數；

所述四核處理器用于根據所述目標框確定到所述目標物的坐標信息(x,y,w,h)；

所述四核處理器用于讀取所述存儲器中存儲的所述目標物圖像，并根據所述目標物的坐標信息將所述目標物在所述目標物圖像中框定出來，得到畫框后的所述目標物的視頻圖像；

所述四核處理器還用于根據所述目標物的坐標信息計算所述云臺的水平、垂直轉動角度、所述鏡頭的變倍數，獲得用于對所述云臺的控制命令，并向所述云臺發送所述控制命令；

所述VCU，用于對畫框后的所述目標物的視頻圖像進行編碼，得到所述目標物的H264編碼視頻圖像，并將所述目標物的H264編碼視頻圖像通過所述通訊模塊發送至后臺服務器；

所述云臺用于在接收到所述控制命令后，帶動所述鏡頭轉動，并調節所述鏡頭焦距。