[發(fā)明專利]基于骨骼點的跌倒檢測方法及其跌倒檢測裝置

在審

• 申請?zhí)枺?/td>: 201811433808.3
• 申請日: 2018-11-28
• 公開（公告）號: CN109492612A
• 公開（公告）日: 2019-03-19
• 發(fā)明（設(shè)計）人: 周濤濤;周寶;陳遠(yuǎn)旭;肖京
• 申請（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;A61B5/11
• 代理公司: 北京英特普羅知識產(chǎn)權(quán)代理有限公司 11015
• 代理人: 林彥之

本發(fā)明提供一種基于骨骼點的跌倒檢測方法及其裝置，所述方法包括：通過第一圖片樣本訓(xùn)練第一特征提取神經(jīng)網(wǎng)絡(luò)，所述第一特征提取神經(jīng)網(wǎng)絡(luò)用于提取表征人體上的關(guān)鍵骨骼點的多個第一特征點；將第二視頻樣本輸入訓(xùn)練好的所述第一特征提取神經(jīng)網(wǎng)絡(luò)，得到表征所述第二視頻樣本中的人體的關(guān)鍵骨骼點的多個第二特征點；對所述多個第二特征點進(jìn)行編碼生成預(yù)測特征圖；通過所述預(yù)測特征圖訓(xùn)練第二行為分類神經(jīng)網(wǎng)絡(luò)，所述第二行為分類神經(jīng)網(wǎng)絡(luò)用于對所述預(yù)測特征圖中表示的行為進(jìn)行分類；將被監(jiān)測對象的視頻數(shù)據(jù)依次輸入訓(xùn)練好的所述第一特征提取神經(jīng)網(wǎng)絡(luò)和所述第二行為分類神經(jīng)網(wǎng)絡(luò)，以輸出所述被監(jiān)測對象的行為類別。

技術(shù)領(lǐng)域

本發(fā)明涉及機(jī)器視覺深度學(xué)習(xí)技術(shù)領(lǐng)域，尤其涉及一種基于骨骼點的跌倒檢測方法、裝置、計算機(jī)設(shè)備及存儲介質(zhì)。

背景技術(shù)

隨著我國進(jìn)入老齡化社會，養(yǎng)老問題日趨嚴(yán)峻。老年人的各項身體機(jī)能指標(biāo)下降，活動能力降低，特別是平衡力、反應(yīng)能力和協(xié)同能力的不足可能造成意外跌倒情況發(fā)生。當(dāng)老人發(fā)生跌倒后，如果沒有獲得及時的援助甚至可能因此在家中身亡。因此，家庭或者其他環(huán)境中針對老人的跌倒檢測是計算機(jī)視覺和機(jī)器學(xué)習(xí)領(lǐng)域中一個很有意義的研究問題。

目前現(xiàn)有的跌倒檢測主要有三種方法，分別為基于穿戴式設(shè)備的跌倒檢測、基于深度攝像頭的跌倒檢測和基于普通攝像頭的跌倒檢測。其中基于穿戴式設(shè)備的方法必須時刻攜帶，給使用者帶來很大不便，實際應(yīng)用價值不大；基于深度攝像頭的方法由于成本昂貴，實際推廣難度大；而基于普通攝像頭的方法成本便宜、使用方便，但對算法的要求較高。

由于普通攝像頭能夠覆蓋各個地方，因此其硬件基礎(chǔ)是成熟的。目前業(yè)內(nèi)利用普通攝像頭進(jìn)行跌倒檢測已經(jīng)提出了很多方法。例如，直接利用圖像序列的信息對跌倒行為進(jìn)行分類，利用檢測算法對人物的邊框變化進(jìn)行分類。但是目前跌倒檢測的數(shù)據(jù)較少，場景單一，不能應(yīng)用在各種實際場景中。對于利用圖像序列的分類方法，由于數(shù)據(jù)少，不能夠訓(xùn)練出優(yōu)秀的網(wǎng)絡(luò)。對于利用檢測算法對人物邊框分類的方法，利用了大量其他數(shù)據(jù)集的信息，能夠有效檢測到人，但是在利用邊框信息分類的時候，由于邊框信息有限，不能得到泛化性好的網(wǎng)絡(luò)。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種基于骨骼點的跌倒檢測方法、裝置、計算機(jī)設(shè)備及存儲介質(zhì)，用于解決現(xiàn)有技術(shù)存在的問題。

為實現(xiàn)上述目的，本發(fā)明提供一種基于骨骼點的跌倒檢測方法，包括以下步驟：

通過第一圖片樣本訓(xùn)練第一特征提取神經(jīng)網(wǎng)絡(luò)，所述第一特征提取神經(jīng)網(wǎng)絡(luò)用于提取所述第一圖片樣本中的多個第一特征點，所述第一特征點表征人體上的關(guān)鍵骨骼點；

將第二視頻樣本輸入訓(xùn)練好的所述第一特征提取神經(jīng)網(wǎng)絡(luò)，得到表征所述第二視頻樣本中的人體的關(guān)鍵骨骼點的多個第二特征點；

對所述多個第二特征點進(jìn)行編碼生成預(yù)測特征圖；

通過所述預(yù)測特征圖訓(xùn)練第二行為分類神經(jīng)網(wǎng)絡(luò)，所述第二行為分類神經(jīng)網(wǎng)絡(luò)用于對所述預(yù)測特征圖中表示的行為進(jìn)行分類；

將被監(jiān)測對象的視頻數(shù)據(jù)依次輸入訓(xùn)練好的所述第一特征提取神經(jīng)網(wǎng)絡(luò)和所述第二行為分類神經(jīng)網(wǎng)絡(luò)，以輸出所述被監(jiān)測對象的行為類別。

進(jìn)一步地，所述通過第一圖片樣本訓(xùn)練第一特征提取神經(jīng)網(wǎng)絡(luò)，包括：

所述第一圖片樣本輸入Resnet殘差網(wǎng)絡(luò)，得到第一提取數(shù)據(jù)；

所述第一提取數(shù)據(jù)分別通過多個具有不同膨脹系數(shù)的卷積模塊，得到多個具有不同特征通道的第二提取數(shù)據(jù)；

所述多個具有不同特征通道的第二提取數(shù)據(jù)組合后進(jìn)入以殘差卷積堆積起來的第一卷積層，得到多個具有不同感知野的第三提取數(shù)據(jù)；

對所述多個具有不同感知野的第三提取數(shù)據(jù)進(jìn)行融合，然后進(jìn)入以殘差模塊堆積起來的第二卷積層，最終輸出表征人體上的關(guān)鍵骨骼點的多個第一特征點；