[發明專利]一種基于深度學習圖像處理的摔倒檢測方法

在審

• 申請號: 201810578548.2
• 申請日: 2018-06-07
• 公開（公告）號: CN108875614A
• 公開（公告）日: 2018-11-23
• 發明（設計）人: 沈磊賢;張卿云;曹國旭;龐佳逸;徐鶴;李鵬
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/08
• 代理公司: 南京正聯知識產權代理有限公司 32243
• 代理人: 王素琴

本發明公開了一種基于深度學習圖像處理的摔倒檢測方法，該方法不依靠穿戴設備和傳感器，通過攝像頭拍攝的高頻次的圖片傳到服務器端，服務器端通過Deepcut深度神經網絡模型進行人體關鍵點檢測，將輸出的人體關鍵點檢測圖數據輸入到深度神經網絡中，通過事先準備的人體各類情況下關鍵點分布的訓練數據訓練出的模型作摔倒判斷，在圖像處理方面每張圖片處理速度在0.2秒左右，具有很強的實時性。通過上述方式，本發明能夠有效地檢測到摔倒事件。不同狀態的摔倒和人體的其他各個形態實例檢測表明，提出的方法可以有效地檢測摔倒事件。本發明可以應用在智慧城市的智慧家居系統中，保障老人的居家安全。

技術領域

本發明涉及健康監測領域，特別是涉及一種基于深度學習圖像處理的摔倒檢測方法。

背景技術

當今中國正跑步進入老齡化社會，60歲以上的老人數量快速增多，獨居、孤寡的“空巢老人”也正以前所未有的速度增長。預計到 2020 年，全國 60 歲以上老年人口將增加到 2.55 億人左右，占總人口比重提升到 17.8% 左右；高齡老年人將增加到 2900 萬人左右。隨著第一代獨生子女的父母陸續進入老年，中國傳統家庭結構的逐漸瓦解，相關研究估計到2030年中國空巢老人將增加到兩億多，占到中國老齡人口的九成。獨居老人一方面缺少精神上的慰藉，另一方面行動能力有限，如果發生意外更是難以及時通知到兒女或親人。近年來獨居老人家中意外死亡事件頻發，相關研究表明，老人摔倒后若能及時得到幫助，可以有效降低 80％的死亡風險和 26％的住院長期治療風險。

國內外針對物聯網環境下基于攝像頭的摔倒檢測研究還是比較少的，基于深度學習圖像處理的摔倒檢測方法更是沒有。傳統的對于摔倒檢測的研究，其主流設計都是基于可穿戴設備和相關傳感器，通過穿戴設備獲得數據做進一步處理，以及采用不同類型的傳感設備和相關算法構建針對不同具體應用的摔倒檢測系統。基于穿戴設備、環境傳感器的摔倒檢測系統具有高入侵性、低精度、魯棒性差，以及受環境影響大等缺點。近年來隨著計算機視覺和數字圖像處理技術的不斷發展，基于視覺的摔倒檢測成為一類重要方法。人工智能的快速發展和機器學習、深度學習研究的不斷深入，深度學習在智能化方面優勢明顯，讓更加智能化的摔倒檢測成為可能。

發明內容

本發明主要解決的技術問題是提供一種基于深度學習圖像處理的摔倒檢測方法，以改善現有的摔倒檢測方法應用成本高、低精度、魯棒性差等不足。

本發明的技術方案是：

（1）采用深度神經網絡模型DeeperCut提出人體部件的候選區域，每個候選區域作為一個節點，所有的節點組成一個密集連接圖，節點之間的關聯性作為圖節點之間的權重，將其作為一個優化問題，將屬于同一個人的部件（節點）歸為一類，每個人作為一個單獨類。通過DeeperCut模型檢測出人體的14個關鍵點從而確定人的體態。

（2）通過預先錄制的大量視頻，其中包括多種攝像頭、多種角度、多種場景和多種人體行為，人體行為包括各種姿勢的摔倒和下蹲、彎腰、坐躺等疑似摔倒的動作行為，將視頻按幀切成總計數萬張圖片。

（3）將這些張圖片通過DeeperCut模型進行預測，獲得數萬條標記人體關鍵點的數據，其中每一條數據包括14個點的位置坐標和置信，之后再給每一條數據標上摔倒還是沒有摔倒的標記。

（4）使用 keras 通過深度神經網絡模型對這一萬多條數據進行訓練，輸出模型，再用模型對后續的圖片作摔倒判斷。其中 Dense Layer 是常用的全連接層，其實現的運算是output = activation(dot(input, kernel)+bias)，其中activation是逐元素計算的激活函數，kernel是本層的權值矩陣，bias為偏置向量。在前五層使用的激活函數是 tanh，而最后一層使用了softmax函數進行分類。