[發明專利]一種基于深度學習的扶梯乘客危險行為識別方法

在審

• 申請號: 202210161104.5
• 申請日: 2022-02-22
• 公開（公告）號: CN114581843A
• 公開（公告）日: 2022-06-03
• 發明（設計）人: 杜啟亮;向照夷;田聯房
• 申請（專利權）人: 華南理工大學;華南理工大學珠海現代產業創新研究院
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V20/40;B66B29/00;G06K9/62;G06V10/778
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 馮炳輝

本發明公開了一種基于深度學習的扶梯乘客危險行為識別方法，通過位于扶梯樓層板上方的攝像機拍攝含有乘客的扶梯視頻段，使用目標檢測、跟蹤及關節點提取算法獲得骨架序列，對骨架序列進行歸一化、插幀處理制作數據集，同時將2S?AGCN網絡進行改進以提高骨架關節點連接的合理性，增強模型擬合能力，以用于對骨架序列進行行為分類，并對訓練集進行數據擴增后訓練該網絡模型，在測試階段，使用插幀及歸一化方法保證數據分布與訓練集一致，且根據連續多幀的分類結果決定當前幀乘客的行為類別，最終得到穩定的扶梯乘客危險行為識別結果。本發明可以快速準確的判斷扶梯上是否存在乘客出現危險行為，保護乘客的人身安全不受威脅。

技術領域

本發明涉及扶梯乘客危險行為識別的技術領域，尤其是指一種基于深度學習的扶梯乘客危險行為識別方法。

背景技術

在現代社會，各種高層建筑不斷出現，為了方便人們不同樓層間的變換，扶梯成為一個必不可少的設備，相比垂直電梯具有載客量大的優點，被廣泛運用于各種場合，尤其是商場、地鐵等客流量大的場所。然而，由于一些乘客的不規范乘坐可能會出現一些意想不到的情況發生，尤其是發生摔倒情況時，容易導致衣服或者頭發被卷入扶梯，如果扶梯不能及時停止，將會促使情況惡化，嚴重威脅人的生命安全。目前，雖然扶梯大都具有防止側面防夾的設備，但其主要依賴于扶梯側面擋板的形變，對于摔倒這種情況只有當乘客被卷入很多時才可能觸發，此時已經造成了嚴重代價，保護性不足。目前扶梯出入口處大都配有攝像機，通常用于檢測地鐵客流量或對乘客進行人臉識別以方便政府部門對特定人員的查找，并未用于乘客摔倒等異常行為的檢測，不能充分利用監控信息。

發明內容

本發明的目的在于克服現有技術的缺點與不足，提出了一種基于深度學習的扶梯乘客危險行為識別方法，該方法對扶梯上乘客的骨架進行檢測并跟蹤獲得乘客的骨架序列，通過改進的2S-AGCN圖卷積網絡對骨架序列進行分類，完成乘客異常行為的檢測，能夠及時發現扶梯上乘客的危險行為，避免造成有進一步的人身損害。

為實現上述目的，本發明所提供的技術方案為：一種基于深度學習的扶梯乘客危險行為識別方法，包括以下步驟：

1)獲取位于扶梯樓層板上方的攝像機拍攝的含有乘客的扶梯視頻段，將所有的扶梯視頻段進行處理生成所需的數據集，再將數據集進行處理生成所需的數據集，再將數據集按比例劃分原始訓練集和原始驗證集，并進行乘客異常行為類別標注；

2)對原始訓練集和原始驗證集進行坐標歸一化，將所有乘客的關節坐標統一到同一數據分布下，得到歸一化后的訓練集和驗證集；

3)對歸一化后的訓練集進行數據擴增，加入噪聲生成新的圖像并賦予相應的標簽，作為最終訓練集；

4)使用最終訓練集訓練改進的2S-AGCN網絡，并使用歸一化后的驗證集驗證模型精度以選取最優模型參數，其中對2S-AGCN網絡的改進是使用自適應的多階鄰接矩陣融合方法，以及使用自學習的鄰接矩陣獲取骨架中關節點的連接關系；

5)對待檢測視頻的每一幀進行乘客骨架提取并跟蹤，將得到的所有乘客的骨架序列送入訓練好的改進2S-AGCN網絡進行行為分類，并根據連續的多個骨架序列識別結果得到最終的乘客行為類別。

進一步，在步驟1)中，數據集生成及標注方法如下：

1.1)將乘客P1，在視頻中的動作起始幀一直到結束幀間的視頻段截取出來，同時該視頻段的類別就標記為乘客P1的行為類別；

1.2)對視頻段的每一幀圖像使用目標檢測網絡框選出圖中所有乘客并進行跟蹤，然后使用骨架提取網絡提取出所有乘客的骨架信息，從而得到所有乘客在全部幀的骨架檢測結果，并將其按時間順序組成骨架序列，然后只保存該視頻段對應乘客P1的骨架序列；