[發明專利]一種基于深度學習的跌倒事件檢測方法和系統

在審

• 申請號: 202010865249.4
• 申請日: 2020-08-25
• 公開（公告）號: CN112084899A
• 公開（公告）日: 2020-12-15
• 發明（設計）人: 陳勇;李偉彤
• 申請（專利權）人: 廣東工業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 張金福

本發明提供一種基于深度學習的跌倒事件檢測方法，包括以下步驟：Mask?RCNN層對人體輪廓進行背景減除，形成二值人體輪廓圖像；CNN層提取二值人體輪廓圖像的特征，此特征通過全連接層輸出T×4096的深度特征矩陣，并將其深度特征矩陣傳輸到雙向LSTM層；深度特征矩陣通過雙向LSTM層得到對應的特征向量；注意力層計算雙向LSTM層輸出的特征向量的權重，根據權重檢測跌倒事件。首先使用Mask?RCNN層來檢測視頻中的人，形成二值人體輪廓圖像，從檢測到的二值人體輪廓圖像中提取有用的特征，輸出深度特征矩陣，將深度特征矩陣輸入到雙向LSTM層中得到對應的特征向量，以進行跌落檢測，雙向LSTM層具有高準確率的特點，注意力層計算特征向量的權重，使整個網絡模型表現出更好的性能。

技術領域

本發明涉及深度學習領域，更具體地，涉及一種基于深度學習的跌倒事件檢測方法和系統。

背景技術

隨著老年人口的增長，獨居老人的安全成為社會日益關注的問題。由于老年人的身體功能正在退化，感覺反應緩慢，失去平衡，所以跌倒事件是老年人在室內孤獨環境中最常見和最潛在的危險之一。一般來說，跌倒會導致受傷、失去行動能力，甚至更嚴重的健康問題。因此，跌倒事件的檢測對老年人在室內獨居環境中的安全來說至關重要。

近年來，人們提出了多種基于先進設備的跌倒事件檢測方法?？纱┐髟O備發展迅速，它們依賴于附著在人體上的傳感器，如傾斜傳感器、加速度計、陀螺儀、界面壓力傳感器和磁強計，因此在以前的研究中得到了廣泛的應用。雖然這些方法在老年人跌倒事件檢測中取得了很好的效果，但由于要求老人在日常生活中佩戴傳感器，這不是一個實際的解決辦法，因為對老年人來說長期使用特定設備非常困難。而基于視覺的設備方法越來越多地應用于不同的場景中。各種視覺傳感器已經廣泛應用于跌倒檢測任務，包括RGB攝像機、深度傳感器和紅外傳感器。其中，RGB相機是最便宜、最容易安裝的，因為監控系統在我們的日常生活中已經得到了很好的發展。大量的跌倒檢測工作集中在基于攝像機的方法上，并且在現有的數據集上表現良好。算法分為背景減法和特征分類兩個階段。在背景減法階段，這些方法分為傳統方法和深度學習方法。前者包括幀間差分法、高斯混合模型(GMM)和幾何多重網格(GMG)，后者則是常用的Yolov3。然而，傳統的技術在光照變化、陰影變化以及短時運動引起的背景變化時表現不好，難以滿足目前復雜場景下墜落檢測的迫切需要。另外，Yolov3需要與跟蹤技術相結合，且無法從提取出單個人的邊界框，得到前景對象中獲取輪廓信息。

現有的技術中，中國發明專利CN105869353A公開了“人體跌倒事件的檢測方法、裝置及移動終端”，公開日為2016年08月17日，具體公開了從移動終端的加速度傳感器獲取加速度值；根據獲取的加速度值計算加速度是否突然增大且在突然增大后的預設時間內保持為零；以及如果是，則確定發生人體跌倒事件，并向移動終端中預設的緊急聯系人發送報警信息，其中所述報警信息攜帶有當前位置信息，該專利需要老人長時間佩戴檢測設備，以便于在摔倒時及時檢測并發布信息告知他人，但是長時間佩戴會造成不適，佩戴在手臂或者腿部會影響老人的生活。

發明內容

本發明為解決老年人長期佩戴可穿戴檢測設備會影響老年人的生活、現有的算法難以滿足目前復雜場景下墜落檢測的技術缺陷，提供了一種基于深度學習的跌倒事件檢測方法和系統。

為實現以上發明目的，采用的技術方案是：

一種基于深度學習的跌倒事件檢測方法，包括以下步驟：

S1：Mask-RCNN層對人體輪廓進行背景減除，形成二值人體輪廓圖像；

S2：CNN層提取二值人體輪廓圖像的特征，此特征通過全連接層輸出T×4096 的深度特征矩陣，并將其深度特征矩陣傳輸到雙向LSTM層；

S3：深度特征矩陣通過雙向LSTM層得到對應的特征向量；

S4：注意力層計算雙向LSTM層輸出的特征向量的權重，根據權重檢測跌倒事件。