[發明專利]基于ARM和FPGA的智能網絡攝像頭的分析系統及分析方法

在審

• 申請號: 201710335200.6
• 申請日: 2017-05-12
• 公開（公告）號: CN107295302A
• 公開（公告）日: 2017-10-24
• 發明（設計）人: 吳晨健;孫志豪
• 申請（專利權）人: 蘇州大學
• 主分類號: H04N7/18
• 分類號: H04N7/18;H04N19/436;H04N19/423;H04N19/44
• 代理公司: 蘇州市中南偉業知識產權代理事務所(普通合伙)32257
• 代理人: 姚惠菱

技術領域

本發明涉及流媒體傳輸領域，具體涉及一種基于ARM和FPGA的智能網絡攝像頭的分析系統及分析方法。

背景技術

網絡攝像頭簡稱WEBCAM，英文全稱為WEB CAMERA，是一種結合傳統攝像機與網絡技術所產生的新一代攝像機，它可以將影像透過網絡傳至地球另一端，且遠端的瀏覽者不需用任何專業軟件，只要標準的網絡瀏覽器(如"Microsoft IE或Netscape),即可監視其影像。

網絡攝像頭是傳統攝像機與網絡視頻技術相結合的新一代產品，除了具備一般傳統攝像機所有的圖像捕捉功能外，機內還內置了數字化壓縮控制器和基于WEB的操作系統，使得視頻數據經壓縮加密后，通過局域網，internet或無線網絡送至終端用戶。而遠端用戶可在PC上使用標準的網絡瀏覽器，根據網絡攝像機的IP地址，對網絡攝像機進行訪問，實時監控目標現場的情況，并可對圖像資料實時編輯和存儲，同時還可以控制攝像機的云臺和鏡頭，進行全方位地監控。

目前，網絡攝像頭的普及與逐步完善，如何在現有環境中結合同樣也在近年快速發展的圖像模式識別，打造智能化的網絡監控系統成了重中之重。但由于模式識別的大運算量，實時性本身十分依賴硬件，當需要識別的圖像來源為網絡攝像頭時，對實時性的考驗就更大了。這里實時性的提高有包括兩個方面，一個是視頻流信號的采集與解碼，另一個對圖像識別的速度。目前這兩方面都嚴重依賴硬件的支持，現有的硬件支持不是成本過高，就是對已經搭建的IPC網絡接入難度過大。

發明內容

本發明的目的在于提供一種基于ARM和FPGA的智能網絡攝像頭的分析系統，其解決了目前網絡攝像頭難接入圖像識別處理模塊的問題，運行于ARM端的極低延遲的RTSP流媒體客戶端作為網絡攝像頭的接入口，進行同時多路視頻流的采集與解碼工作，再將解碼后的圖像通過PCIe回傳到FPGA中，使用FPGA的CNN硬件加速器對圖像進行實時識別目標。

本發明的技術方案是：一種基于ARM和FPGA的智能網絡攝像頭的分析系統，包括流媒體捕獲模塊、流媒體解碼模塊以及圖像識別處理模塊，所述流媒體捕獲模塊采用RTSP流媒體客戶端，所述流媒體解碼模塊采用基于解碼ARM的硬件解碼器，所述RTSP流媒體客戶端運行于所述解碼ARM的系統中并分別與網絡攝像頭和所述硬件解碼器連接，所述圖像識別處理模塊配置有基于FPGA的硬件加速器，所述解碼ARM與所述FPGA之間通過PCle高速總線相連接，所述流媒體解碼模塊與所述圖像識別處理模塊的數據格式相同，所述RTSP流媒體客戶端對多路IPC流媒體進行高速并行捕獲，所述硬件解碼器對多路IPC流媒體進行同時解碼，并且實時抓取解碼后圖像進行輸出，所述硬件加速器對圖像進行實時目標識別。

解碼ARM為解碼ARM芯片，FPGA為FPGA開發板。

進一步的，所述解碼ARM采用Hi3536芯片。

進一步的，所述硬件加速器為Sobel邊緣檢測加速器。

進一步的，所述硬件加速器為CNN硬件加速器，所述CNN硬件加速器采用加法樹和二進制數移位的方式完成并行的卷積計算。

進一步的，所述網絡攝像頭、所述硬件解碼器以及所述圖像識別處理模塊分別通過網線電連接交換機。

進一步的，所述交換機為通用千兆交換機。

進一步的，所述硬件加速器通過PCIE高速串行計算機擴展總線連接所述圖像識別處理模塊。

進一步的，所述圖像識別處理模塊通過HDMI高清連接線連接顯示器。

本發明還提供另外一個技術方案：一種基于ARM和FPGA的智能網絡攝像頭系統的分析方法，包括流媒體捕獲過程和流媒體解碼過程，

所述流媒體捕獲過程包括如下步驟：

S1-1、實例化RTSP流媒體客戶端的句柄，進入S1-2；

S1-2、初始化一個或多個RTSP流媒體客戶端，進入S1-3；

S1-3、打開每個所述RTSP流媒體客戶端的RTSP流，進入S1-4；

S1-4、使用RTSP流媒體客戶端中的數據回調函數獲取RTSP流媒體數據，進入S1-5；

S1-5、刪除每個所述RTSP流媒體客戶端；

所述流媒體解碼過程包括如下步驟：

S2-1、初始化硬件解碼器，進入S2-2；

S2-2、配置所述硬件解碼器的VB視頻緩存池參數，進入S2-3；