[發明專利]一種基于膠囊網絡的人員車輛監控方法及系統

在審

• 申請號: 202111221927.4
• 申請日: 2021-10-20
• 公開（公告）號: CN114022726A
• 公開（公告）日: 2022-02-08
• 發明（設計）人: 周云飛;曹志雷;魏一
• 申請（專利權）人: 金鵬電子信息機器有限公司
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/46;G06V20/52;G06K9/62;G06N3/04;G10L25/51;G10L25/30;G10L25/18
• 代理公司: 廣州市越秀區哲力專利商標事務所(普通合伙) 44288
• 代理人: 李健

1.一種基于膠囊網絡的人員車輛監控方法，其特征在于，包括：

采集監控音視頻，對監控音視頻進行分離以獲得聲音數據和圖像數據；

分別對聲音數據和圖像數據進行特征提取，其特征提取包括低層特征和高層抽象特征的提取；對特征提取后獲得的聲音和圖像的抽象特征進行融合生成特征融合向量，并利用膠囊網絡對特征融合向量進行處理以識別出監控音視頻中的人員和車輛的特征信息；

將識別獲得的人員和車輛的特征信息與預登記信息進行數據比對處理以輸出目標人員和目標車輛的監控結果。

2.根據權利要求1所述的基于膠囊網絡的人員車輛監控方法，其特征在于，對所述聲音數據進行特征提取的方法為：

對分離獲得的聲音數據進行分析以獲得聲音信號的時間、頻率和幅度參數；

根據聲音信號的時間、頻率和幅度參數生成聲音信號在頻率和時間維度上的聲譜圖，使二維的聲譜圖包含有頻域和時域的低層特征；

利用卷積神經網絡提取聲譜圖中的時頻變化特征，再利用循環神經網絡對卷積神經網絡輸出的時頻變化特征圖進行時域上的上下文關聯特征的提取以輸出抽象聲音特征圖。

3.根據權利要求1所述的基于膠囊網絡的人員車輛監控方法，其特征在于，對所述圖像數據進行特征提取的方法為：

對所述圖像數據進行圖像特征提取以獲得低層視覺特征并生成攜帶有低層視覺特征的圖像特征圖；

利用卷積層對圖像特征圖進行處理以輸出抽象圖像特征圖。

4.根據權利要求2或3所述的基于膠囊網絡的人員車輛監控方法，其特征在于，對聲音和圖像的抽象特征進行融合的方法為：

分別對抽象聲音特征圖和抽象圖像特征圖中每個像素點的最大值和最小值進行歸一化處理；

將歸一化處理后的聲音特征和圖像特征投影至統一的特征空間以獲得變換后的聲音和圖像特征；

對變換后的聲音和圖像特征進行融合以獲得特征融合向量。

5.根據權利要求1所述的基于膠囊網絡的人員車輛監控方法，其特征在于，利用膠囊網絡對特征融合向量進行處理的方法為：

將融合所得的特征融合向量按照不同維度封裝為低層膠囊和高層膠囊；

通過迭代動態路由算法實現低層膠囊和高層膠囊間特征向量的傳遞以最終確定高層膠囊的輸出。

6.根據權利要求5所述的基于膠囊網絡的人員車輛監控方法，其特征在于，對聲音和圖像的抽象特征進行融合后，還包括：

采用交叉熵函數對聲音和圖像的語義一致性分類偏差進行分析，對分析所得的偏差進行糾正后更新聲音數據和圖像數據以重新對人員和車輛進行識別和分類。

7.根據權利要求1所述的基于膠囊網絡的人員車輛監控方法，其特征在于，利用膠囊網絡對特征融合向量進行處理后，還包括：

采用邊緣損失函數計算系統損失，對系統損失進行糾正后更新聲音數據和圖像數據以重新對人員和車輛進行識別和分類。

8.一種基于膠囊網絡的人員車輛監控系統，其特征在于，執行如權利要求1～7任意一項所述的基于膠囊網絡的人員車輛監控方法，其監控系統包括：

監控音視頻處理模塊，用于獲取監控音視頻，并對監控音視頻進行分離以獲得聲音數據和圖像數據；

特征提取模塊，用于對聲音數據和圖像數據進行低層特征提取以獲得聲譜圖和圖像特征圖，再對聲譜圖和圖像特征圖進行抽象特征處理，并對抽象特征處理所獲得抽象聲音特征圖和抽象圖像特征圖進行融合以獲得特征融合向量；

膠囊網絡處理模塊，用于利用膠囊網絡對特征融合向量進行處理以識別出監控音視頻中的人員和車輛的特征信息；

目標對象監控模塊，用于將識別獲得的人員和車輛的特征信息與預登記信息進行數據比對處理以輸出目標人員和目標車輛的監控結果。

9.一種電子設備，其特征在于，其包括處理器、存儲器及存儲于所述存儲器上并可在所述處理器上運行的計算機程序，所述處理器執行所述計算機程序時實現權利要求1～7任一所述的基于膠囊網絡的人員車輛監控方法。

10.一種存儲介質，其特征在于，其上存儲有計算機程序，所述計算機程序被執行時實現權利要求1～7任一所述的基于膠囊網絡的人員車輛監控方法。