[發明專利]一種復雜場景下的實時在線行人分析與計數系統及方法

有效

• 申請號: 201910381879.1
• 申請日: 2019-05-08
• 公開（公告）號: CN110147743B
• 公開（公告）日: 2021-08-06
• 發明（設計）人: 宮法明;馬玉輝;唐昱潤;徐燕;袁向兵;李昕;李傳濤
• 申請（專利權）人: 中國石油大學（華東）
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 北京眾合誠成知識產權代理有限公司 11246
• 代理人: 馬超前

1.一種復雜場景下的實時在線行人分析與計數系統，其特征在于，由交互層、功能模塊層、服務層和數據訪問層構成；

底層為數據訪問層，安裝在本地工控機上，完成對本地數據庫表的封裝操作，將識別出的動作類別、開始與結束時間信息，形成識別記錄并上傳至數據庫，同時將相應的視頻保存到本地服務層，數據庫表內包括視頻信息數據、檢測模型數據和識別信息數據，負責存儲各層的數據，為功能模塊層的服務提供數據支持；

數據訪問層上層為服務層，安裝在本地工控機上，用于處理主要的業務邏輯，封裝用戶的業務邏輯服務，利用建立的深度學習框架處理視頻信息數據，提供人體動作識別與分析的服務，為功能模塊層的搭建提供算法支撐；

服務層上層是功能模塊層，安裝在本地工控機上，主要實現系統的功能模塊，包括人員檢測與跟蹤、關鍵點分析、行人計數分析以及人體行為的識別與分析，將各大功能模塊有機地結合在一起，為服務層算法的調用提供接口，便于人機交互層的數據顯示；

最上層是人機交互層，部署在中心服務器上，用于完成系統界面的設計與顯示數據的輸入輸出，負責界面的效果展示以及為用戶提供對系統簡單的交互操作，對于功能模塊層識別出的人員工作狀態，系統會給出提示報警信息，值班人員通過對識別信息進行查看并處置，處置后的信息存儲到數據訪問層數據庫中；

其計數方法包括：

步驟1.通過對攝像頭列表樹中的攝像頭進行數據獲取，獲取得到視頻圖像，以視頻信息作為輸入，通過數據預處理將視頻數據轉換為連續的RGB幀圖像，利用原始的SSD網絡進行人員目標檢測；

步驟2.將生成的多個建議框輸入到兩個并行的分子網絡中用于人體關鍵點檢測，一個是堆疊沙漏網絡，用于位置修正和優化目標檢測生成的建議框結果，另一個為姿態卷積機，通過建立關鍵點之間的相對位置關系，從而實現人體不可見關鍵點的預測與估計；

將目標檢測器得到的多個人員建議框作為網絡輸入，通過將原始圖像拓展延伸以確保把整個人體完整地框取出來，分割得到多個單人目標，將其送入多階段深度并行網絡，包括兩個并行的分支網絡，分支結構較為相似，第一個分支經過STN空間變換網絡，生成一個比較精確的、適合作為SHN網絡輸入的特征數據，再進行一個與前邊相反的STN變換，將坐標變換回原來的坐標系，即網絡結構為STN+SHN+DSTN；第二個分支由一個STN網絡、一個CPM網絡和一個反向的STN網絡組成，通過使用高維空間的向量來編碼不同關鍵點之間的關系，利用人體各部位矢量之間的位移長度建立關鍵點之間的相對位置關系，從而實現人體不可見關鍵點的預測與估計，完成整個的識別過程；最后，通過PoseNMS的消除冗余的關鍵點信息，得到唯一的一套人體關鍵點的坐標；

步驟3.經過姿態非最大抑制消除冗余關鍵點坐標，得到最終人體的所有關鍵點；

步驟4.通過DeepSort算法解決復雜場景下多人員目標的跟蹤與技術問題；

步驟5.通過構造多級幀間時空圖對人體動作進行分類與識別，輸出目標的動作類別，開始與結束時間，形成識別記錄并上傳至數據庫，同時將相應的視頻保存到本地服務器，對于識別出的人員工作狀態，系統會給出提示報警信息，值班人員通過對識別信息進行查看并處置，有效解決了復雜場景下行人動作識別與分析的問題。

2.根據權利要求1所述的一種復雜場景下的實時在線行人分析與計數系統，其特征在于，所述步驟4中DeepSort算法是在Sort目標跟蹤算法的基礎上改進得到，引入了在行人重識別數據集上離線訓練的深度學習模型，在實時目標追蹤過程中，通過提取目標的表觀特征進行最近鄰匹配，可以改善復雜場景下有遮擋情況的目標追蹤效果，同時，在一定程度上也減少了目標ID跳變的問題。