[發明專利]基于ARM和FPGA的智能網絡攝像頭的分析系統及分析方法

在審

• 申請號: 201710335200.6
• 申請日: 2017-05-12
• 公開（公告）號: CN107295302A
• 公開（公告）日: 2017-10-24
• 發明（設計）人: 吳晨健;孫志豪
• 申請（專利權）人: 蘇州大學
• 主分類號: H04N7/18
• 分類號: H04N7/18;H04N19/436;H04N19/423;H04N19/44
• 代理公司: 蘇州市中南偉業知識產權代理事務所(普通合伙)32257
• 代理人: 姚惠菱

1.一種基于ARM和FPGA的智能網絡攝像頭的分析系統，包括流媒體捕獲模塊、流媒體解碼模塊以及圖像識別處理模塊，其特征在于，所述流媒體捕獲模塊采用RTSP流媒體客戶端，所述流媒體解碼模塊采用基于解碼ARM的硬件解碼器，所述RTSP流媒體客戶端運行于所述解碼ARM的系統中并分別與網絡攝像頭和所述硬件解碼器連接，所述圖像識別處理模塊配置有基于FPGA的硬件加速器，所述解碼ARM與所述FPGA之間通過PCle高速總線相連接，所述流媒體解碼模塊與所述圖像識別處理模塊的數據格式相同，所述RTSP流媒體客戶端對多路IPC流媒體進行高速并行捕獲，所述硬件解碼器對多路IPC流媒體進行同時解碼，并且實時抓取解碼后圖像進行輸出，所述硬件加速器對圖像進行實時目標識別。

2.如權利要求1所述的基于ARM和FPGA的智能網絡攝像頭的分析系統，其特征在于，所述解碼ARM采用Hi3536芯片。

3.如權利要求1所述的基于ARM和FPGA的智能網絡攝像頭的分析系統，其特征在于，所述硬件加速器為Sobel邊緣檢測加速器。

4.如權利要求1所述的基于ARM和FPGA的智能網絡攝像頭的分析系統，其特征在于，所述硬件加速器為CNN硬件加速器，所述CNN硬件加速器采用加法樹和二進制數移位的方式完成并行的卷積計算。

5.如權利要求1所述的基于ARM和FPGA的智能網絡攝像頭的分析系統，其特征在于，所述網絡攝像頭、所述硬件解碼器以及所述圖像識別處理模塊分別通過網線電連接交換機。

6.如權利要求5所述的基于ARM和FPGA的智能網絡攝像頭的分析系統，其特征在于，所述交換機為通用千兆交換機。

7.如權利要求1所述的基于ARM和FPGA的智能網絡攝像頭的分析系統，其特征在于，所述硬件加速器通過PCIE高速串行計算機擴展總線連接所述圖像識別處理模塊。

8.如權利要求1所述的基于ARM和FPGA的智能網絡攝像頭的分析系統，其特征在于，所述圖像識別處理模塊通過HDMI高清連接線連接顯示器。

9.如權利要求1-8任一所述的基于ARM和FPGA的智能網絡攝像頭系統的分析方法，包括流媒體捕獲過程和流媒體解碼過程，其特征在于：

所述流媒體捕獲過程包括如下步驟：

S1-1、實例化RTSP流媒體客戶端的句柄，進入S1-2；

S1-2、初始化一個或多個RTSP流媒體客戶端，進入S1-3；

S1-3、打開每個所述RTSP流媒體客戶端的RTSP流，進入S1-4；

S1-4、使用RTSP流媒體客戶端中的數據回調函數獲取RTSP流媒體數據，進入S1-5；

S1-5、刪除每個所述RTSP流媒體客戶端；

所述流媒體解碼過程包括如下步驟：

S2-1、初始化硬件解碼器，進入S2-2；

S2-2、配置所述硬件解碼器的VB視頻緩存池參數，進入S2-3；

S2-3、配置所述硬件解碼器的VDEC解碼模塊參數、VPSS處理模塊參數以及VO輸出模塊參數，使所述VDEC解碼模塊的通道與所述RTSP流媒體客戶端一一對應，所述VPSS處理模塊的組與所述VDEC解碼模塊的通道一一對應，所述VO輸出模塊的通道與所述VPSS處理模塊的組一一對應，進入S2-4；

S2-4、使能所述VDEC解碼模塊的通道、所述VO輸出模塊通道的通道以及所述VPSS處理模塊的組，進入S2-5；

S2-5、綁定對應的RTSP流媒體客戶端、VDEC解碼模塊的通道、VPSS處理模塊的組以及VO輸出模塊通道的通道，進入S2-7；

S2-6、一個或多個所述RTSP流媒體客戶端送出一路或多路RTSP流媒體數據，進入S2-7

S2-7、所述硬件解碼器通過所述數據回調函數的使用，獲取所述一路或多路RTSP流媒體數據，進入S2-8；

S2-8、在每個回調函數中，發送流媒體數據到與其對應的VDEC解碼模塊的通道中，進入S2-9；

S2-9、從每個VDEC解碼模塊的通道中取出解碼后的圖像數據，發送到與其對應的VPSS處理模塊進行縮放操作，進入S2-10；

S2-10、從每個VDEC解碼模塊的通道中取出解碼后的圖像數據，發送到與其對應的VO輸出模塊的通道中。

10.如權利要求9所述的基于ARM和FPGA的智能網絡攝像頭系統的分析方法，其特征在于，當流媒體為1080P@60fps時，VDEC解碼模塊的個數不大于16。