[發明專利]一種基于膠囊網絡的人員車輛監控方法及系統

在審

• 申請號: 202111221927.4
• 申請日: 2021-10-20
• 公開（公告）號: CN114022726A
• 公開（公告）日: 2022-02-08
• 發明（設計）人: 周云飛;曹志雷;魏一
• 申請（專利權）人: 金鵬電子信息機器有限公司
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/46;G06V20/52;G06K9/62;G06N3/04;G10L25/51;G10L25/30;G10L25/18
• 代理公司: 廣州市越秀區哲力專利商標事務所(普通合伙) 44288
• 代理人: 李健

本發明公開了一種基于膠囊網絡的人員車輛監控方法及系統，其方法包括：采集監控音視頻，對監控音視頻進行分離以獲得聲音數據和圖像數據；分別對聲音數據和圖像數據進行特征提取，其特征提取包括低層特征和高層抽象特征的提取；對特征提取后獲得的聲音和圖像的抽象特征進行融合生成特征融合向量，并利用膠囊網絡對特征融合向量進行處理以識別出監控音視頻中的人員和車輛的特征信息；將識別獲得的人員和車輛的特征信息與預登記信息進行數據比對處理以輸出目標人員和目標車輛的監控結果。本發明利用圖像特征和聲音特征進行目標識別和分類可明顯提升識別準確率，最終得到精確的識別結果。

技術領域

本發明涉及安防監控技術領域，尤其涉及一種基于膠囊網絡的人員車輛監控方法及系統。

背景技術

隨著我國城市化進程的不斷加快，城市街道、工業園區、住宅小區的安防監控及應急管理是關系社會治安穩定重要工作。在該領域中，精細監控人員、車輛，以及相互間的聯系，及時發現異常信息并告警，是提升安防監控等級的重要方法，也是技術發展的主要方向。

現有的識別技術多采用視覺特征分析的單模態識別方法對人員的面部特征、衣著特征進行識別；但實際中，大部分監控音視頻無法采集清晰地人臉圖像；且室內外光照等環境差異也給衣著顏色判斷造成影響，可見，若單純采用圖像識別技術容易造成誤判，導致安防監控識別的準確率無法提高。

然而，大量的實踐數據證明人的自然語音，如口音、聲紋等特征是核驗人員身份的關鍵信息，在人員容貌及衣著偽裝的場景中更具有優勢；另一方面，車輛發動機聲響、輪胎與地面摩擦聲、喇叭聲能夠直接或間接地反映車輛的車況、車齡等關鍵特征，利用這些特征可提高車型識別的準確率。

但是，現有的識別技術中忽略了對聲音信號的分析，限制了識別準確率進一步提升，且目前基于音視頻特征融合的識別研究甚少，遇到的主要難點是不同模態的特征不易融合；其次，傳統技術需采用較為完整的圖像來分析，但監控系統通常只采集車輛的前、側面圖像，特征較少，降低了識別準確率；再有，傳統技術僅傳統的圖像處理和匹配技術，難以進行精細分類且不具備學習能力和成長性。

發明內容

為了克服現有技術的不足，本發明的目的之一在于提供一種基于膠囊網絡的人員車輛監控方法，利用圖像特征和聲音特征進行目標識別和分類可提高識別準確率，同時對聲音和圖像特征進行融合處理，實現了多模態特征的融合，解決了傳統技術難以進行多模態特征融合的問題。

本發明的目的之二在于提供一種基于膠囊網絡的人員車輛監控系統。

本發明的目的之三在于提供一種電子設備。

本發明的目的之四在于提供一種存儲介質。

本發明的目的之一采用如下技術方案實現：

一種基于膠囊網絡的人員車輛監控方法，包括：

采集監控音視頻，對監控音視頻進行分離以獲得聲音數據和圖像數據；

分別對聲音數據和圖像數據進行特征提取，其特征提取包括低層特征和高層抽象特征的提取；對特征提取后獲得的聲音和圖像的抽象特征進行融合生成特征融合向量，并利用膠囊網絡對特征融合向量進行處理以識別出監控音視頻中的人員和車輛的特征信息；

將識別獲得的人員和車輛的特征信息與預登記信息進行數據比對處理以輸出目標人員和目標車輛的監控結果。

進一步地，對所述聲音數據進行特征提取的方法為：

對分離獲得的聲音數據進行分析以獲得聲音信號的時間、頻率和幅度參數；

根據聲音信號的時間、頻率和幅度參數生成聲音信號在頻率和時間維度上的聲譜圖，使二維的聲譜圖包含有頻域和時域的低層特征；