[發明專利]一種基于堆疊空洞卷積網絡的摔倒檢測方法

有效

• 申請號: 202010168176.3
• 申請日: 2020-03-11
• 公開（公告）號: CN111507185B
• 公開（公告）日: 2020-11-24
• 發明（設計）人: 姜明;楊海杰;李鵬飛;張旻;湯景凡
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱月芬

1.一種基于堆疊空洞卷積網絡的摔倒檢測方法，其特征在于按照如下步驟進行：

步驟1、準備摔倒行為訓練集：從多個角度、多個人物和多個場景采集視頻圖像數據，添加到原始人體姿態數據集中，獲取新的人體姿態數據集Ⅰ，實現數據增強；

所述的原始人體姿態數據集中不含有摔倒行為圖像；

步驟2、通過目標檢測算法提取步驟1獲取的人體姿態數據集Ⅰ的每張圖像的人物個體，摔倒行為的人物個體，得到新的訓練集；

所述的新的訓練集中行為的標注類別僅包含摔倒和非摔倒；

步驟3、將訓練集的每個人物個體制作關節點熱圖，并且根據訓練集人工定義摔倒行為的骨骼點分布；

步驟4、構建堆疊空洞卷積網絡并且訓練堆疊空洞卷積網絡；

步驟5、用訓練好的堆疊空洞卷積網絡檢測連續幾幀采集到的圖像，得到骨骼點的分布結果；將連續幾幀的骨骼點分布與人工定義的摔倒行為骨骼點分布進行相似度計算，若小于閾值，則判定為摔倒行為；

步驟(1)所述的具體過程如下：

1.1先在一個場景的不同角度放置攝像頭，對單個人物進行拍攝，視頻中的人物模仿各種摔倒的過程；

1.2在不同的場景下對不同的人物個體重復步驟1.1，獲得不同場景不同角度不同人物摔倒的視頻數據集；

1.3將視頻數據集的每一幀轉化為圖片，根據需要人工刪除部分相鄰幀的相似圖片，減少數據集的規模，最終獲得不同場景不同角度不同人物摔倒的摔倒數據集；將摔倒數據集添加到原始人體姿態數據集中，獲取新的人體姿態數據集Ⅰ，實現數據增強；

步驟(3)所述具體實現過程如下：

3.1針對訓練集中行為標注類別為摔倒的所有圖像，先人工單獨標注每張圖像的各個骨骼點，獲得摔倒數據集Ⅱ；

3.2對于訓練集中的所有圖像，以每個骨骼點坐標為中心，生成該骨骼點對應的高斯熱圖，對于圖像中缺失的骨骼點生成對應的空白圖；

3.3根據獲得的摔倒數據集Ⅱ，將身體部位對應的骨骼點進行連接，獲得多種摔倒姿態，建立摔倒姿態數據庫；

步驟(4)所述構建堆疊空洞卷積網絡并且訓練堆疊空洞卷積網絡的過程如下：

4.1構建堆疊空洞卷積網絡

堆疊空洞卷積網絡由多個并聯空洞卷積網絡堆疊而成，每個并聯空洞卷積網絡包括多個具有不同步長卷積核的空洞卷積網絡，假設第i個并聯空洞卷積網絡的第j次空洞卷積操作的特征輸出為y_ij，卷積核k，則空洞卷積操作如下：

同理第i個并聯空洞卷積網絡的第j+1空洞卷積操作如下：

其中Θ表示卷積操作，+表示特征級聯，r表示空洞卷積核的步長，即卷積核的間隔數量，普通的卷積是空洞卷積的一個特殊情況，當r＝1的時候，即是普通的卷積核，通過設置不同的r來獲得不同大小的感受野；

4.2訓練堆疊空洞卷積網絡

4.2.1將預訓練好的深度卷積網絡模型中的參數加載到堆疊空洞卷積網絡，完成堆疊空洞卷積網絡的參數初始化；

4.2.2將步驟2獲取的訓練集輸入到初始化后的堆疊空洞卷積網絡中，采用Adam優化器進行訓練，利用梯度的一階矩估計和二階矩估計動態調整每個參數的學習率，經過偏置校正后，每一次迭代學習率都有個確定范圍，使得參數比較平穩，最終得到訓練好的堆疊空洞卷積網絡；

4.2.3判斷訓練好的堆疊空洞卷積網絡的全局損失值是否小于設定閾值，若是則結束訓練，得到最優堆疊空洞卷積網絡；若不是則返回步驟4.2.2。

2.根據權利要求1所述的一種基于堆疊空洞卷積網絡的摔倒檢測方法，其特征在于步驟5所述過程實現如下：

5.1把需要進行人體摔倒檢測的連續幾幀采集到的圖像輸入訓練好的堆疊空洞卷積網絡，得到骨骼點分布；將身體部位對應的骨骼點進行連接，得到人體姿態圖像；

5.2將得到的人體姿態圖像與摔倒姿態數據庫中的圖像做相似度計算，若相似度滿足閾值要求，則判定為摔倒，相似度公式如下：

其中l_k表示第k個骨骼邊長(兩個骨骼點之間的距離),p表示檢測的人體姿態圖像結果，g表示摔倒姿態數據庫中的結果，K表示所有骨骼邊的個數，L越小，相似度越大。