[發明專利]一種基于深度學習的扶梯乘客危險行為識別方法

在審

• 申請號: 202210161104.5
• 申請日: 2022-02-22
• 公開（公告）號: CN114581843A
• 公開（公告）日: 2022-06-03
• 發明（設計）人: 杜啟亮;向照夷;田聯房
• 申請（專利權）人: 華南理工大學;華南理工大學珠海現代產業創新研究院
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V20/40;B66B29/00;G06K9/62;G06V10/778
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 馮炳輝

1.一種基于深度學習的扶梯乘客危險行為識別方法，其特征在于，包括以下步驟：

1)獲取位于扶梯樓層板上方的攝像機拍攝的含有乘客的扶梯視頻段，將所有的扶梯視頻段進行處理生成所需的數據集，再將數據集按比例劃分原始訓練集和原始驗證集，并進行乘客異常行為類別標注；

2)對原始訓練集和原始驗證集進行坐標歸一化，將所有乘客的關節坐標統一到同一數據分布下，得到歸一化后的訓練集和驗證集；

3)對歸一化后的訓練集進行數據擴增，加入噪聲生成新的圖像并賦予相應的標簽，作為最終訓練集；

4)使用最終訓練集訓練改進的2S-AGCN網絡，并使用歸一化后的驗證集驗證模型精度以選取最優模型參數，其中對2S-AGCN網絡的改進是使用自適應的多階鄰接矩陣融合方法，以及使用自學習的鄰接矩陣獲取骨架中關節點的連接關系；

5)對待檢測視頻的每一幀進行乘客骨架提取并跟蹤，將得到的所有乘客的骨架序列送入訓練好的改進2S-AGCN網絡進行行為分類，并根據連續的多個骨架序列識別結果得到最終的乘客行為類別。

2.根據權利要求1所述的一種基于深度學習的扶梯乘客危險行為識別方法，其特征在于：在步驟1)中，數據集生成及標注方法如下：

1.1)將乘客P1，在視頻中的動作起始幀一直到結束幀間的視頻段截取出來，同時該視頻段的類別就標記為乘客P1的行為類別；

1.2)對視頻段的每一幀圖像使用目標檢測網絡框選出圖中所有乘客并進行跟蹤，然后使用骨架提取網絡提取出所有乘客的骨架信息，從而得到所有乘客在全部幀的骨架檢測結果，并將其按時間順序組成骨架序列，然后只保存該視頻段對應乘客P1的骨架序列；

1.3)使用插幀算法對骨架序列進一步處理，假設乘客P1的骨架序列的幀數為F_P1，而幀數必須為改進2S-AGCN網絡縮放倍率F_count的整數倍，故需要對P1的骨架序列進行插幀處理，需要增加的幀數其中[·]表示向下取整操作，則在處各插入一幀，而插入幀的骨架信息通過對相鄰前后兩幀的骨架位置求平均獲得，從而得到插幀后的骨架序列；

1.4)將乘客P1的行為類別，作為其對應插幀后骨架序列的類別標簽，即插幀后骨架序列及其行為類別共同作為數據集的一個樣本。

3.根據權利要求1所述的一種基于深度學習的扶梯乘客危險行為識別方法，其特征在于：在步驟2)中，坐標歸一化方法如下：

針對每一個骨架序列的某一幀，假設其骨架中包含K個關節點，所有關節點在圖像中的坐標為{(x_i,y_i),i∈[1,K]}，(x_i,y_i)為第i個關節點的橫坐標和縱坐標，則該骨架的外接矩形框坐標為(x_min,y_min,x_max,y_max)＝(min({(x_i)}),min({(y_i)}),max({(x_i)}),max({(y_i)})),i∈[1,K]，其中，(x_min,y_min)為外接矩形左上角的橫坐標和縱坐標，(x_max,y_max)為外接矩形右下角的橫坐標和縱坐標，min({·})、max({·})分別為集合{·}的最小值和最大值；則歸一化后的關節點坐標為

4.根據權利要求1所述的一種基于深度學習的扶梯乘客危險行為識別方法，其特征在于：在步驟3)中，數據擴增方法如下：

3.1)以設定概率對整個骨架序列進行翻轉，翻轉方法為：假設歸一化后骨架序列的關節點坐標為其中，K為骨架的關節點個數，T為骨架序列的幀數，為第t幀第i個關節點的橫坐標和縱坐標，則翻轉后的關節點坐標為

3.2)對于骨架序列的第t幀，隨機選取N個關節點，其中選取的第j個關節點的坐標為在[-0.01，0.01]之間按照高斯分布隨機選取兩個數則添加位移噪聲后的關節點坐標為從而添加隨機位移噪聲；

3.3)對于骨架序列的第t幀，隨機選取M個關節點，其中選取的第j個關節點的坐標為則擦除該關節點后，其坐標為用于模擬因為遮擋而導致的關節點檢測不全的情況。