[發(fā)明專利]一種基于人體姿態(tài)跟蹤分析的室內(nèi)危險情況告警的方法

有效

• 申請?zhí)枺?/td>: 201611262400.5
• 申請日: 2016-12-30
• 公開（公告）號: CN107045623B
• 公開（公告）日: 2020-01-21
• 發(fā)明（設(shè)計）人: 黃春輝;賈寶芝;曾環(huán)樣;胡燕彬
• 申請（專利權(quán)）人: 廈門瑞為信息技術(shù)有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G08B19/00
• 代理公司: 11732 北京睿智保誠專利代理事務(wù)所(普通合伙)
• 代理人: 楊海明

1.一種基于人體姿態(tài)跟蹤分析的室內(nèi)危險情況告警的方法，其特征在于包括如下步驟：

步驟1、神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練

步驟1.1、人體姿態(tài)識別的神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練

通過爬取大量網(wǎng)上不同年齡段人群家庭環(huán)境下的常見動作和危險動作視頻片段，按照該視頻片段中的人物的體態(tài)特征以及動作序列的規(guī)律，對人體姿態(tài)標(biāo)定年齡范圍，并按照年齡范圍對動作危險程度以及是否摔倒進(jìn)行標(biāo)定分類；

選用的神經(jīng)網(wǎng)絡(luò)模型為深度網(wǎng)絡(luò)中的三維卷積神經(jīng)網(wǎng)絡(luò)，通過無監(jiān)督學(xué)習(xí)進(jìn)行初始參數(shù)設(shè)定,然后對上述標(biāo)定后的視頻片段進(jìn)行學(xué)習(xí)；

步驟1.2、危險物品的神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練

通過爬取大量網(wǎng)上涉及各種場景下定義為危險物品的圖像，并按照年齡所對應(yīng)的危險物品進(jìn)行標(biāo)定分類；

選用的神經(jīng)網(wǎng)絡(luò)模型為深度網(wǎng)絡(luò)中的二維卷積神經(jīng)網(wǎng)絡(luò)，對上述采集的圖像通過無監(jiān)督學(xué)習(xí)進(jìn)行初始參數(shù)設(shè)定，然后對標(biāo)定的危險物品、特定求救手勢、火焰圖像進(jìn)行學(xué)習(xí)；

步驟2、危險動作跟蹤分析及告警

首先,通過空調(diào)攝像頭采集室內(nèi)環(huán)境圖像，并將每一幀采集的圖像轉(zhuǎn)化為灰度圖，圖形處理器對灰度圖進(jìn)行人臉檢測，如果沒檢測出人臉就丟棄該圖像，如果檢測出人臉，則對人臉進(jìn)行識別得到人臉特征值，并對該人臉進(jìn)行編號，與人臉編號綁定進(jìn)行人體姿態(tài)識別和跟蹤，開辟多個線程分別對與該人臉編號相關(guān)的視頻數(shù)據(jù)進(jìn)行單項功能的檢測,其中：

第一線程用于人員摔倒告警：

對單幀圖像通過滑塊移動的方式利用神經(jīng)網(wǎng)絡(luò)模型逐區(qū)域判斷是否存在人體橫臥姿態(tài)的情況，如果存在人體橫臥姿態(tài)，則認(rèn)為出現(xiàn)人摔倒的情況，此時，進(jìn)一步利用神經(jīng)網(wǎng)絡(luò)模型判斷出人體區(qū)域，計算出此人體區(qū)域的重心位置作為人體重心位置，并對此人體區(qū)域進(jìn)行跟蹤，如果人體重心位置在圖像上的位置處于不動或者水平運動的狀態(tài)超過閾值時間，則認(rèn)為有人摔倒并觸發(fā)告警,轉(zhuǎn)步驟3；如果人體重心向上移動且向上移動的距離超過預(yù)設(shè)的范圍，則認(rèn)為該人體區(qū)域內(nèi)摔倒的人已經(jīng)站起來，則不觸發(fā)告警；

第二線程用于人員行為告警：

利用二維深度神經(jīng)網(wǎng)絡(luò)在單幀圖像中檢測是否存在人體或者危險物品，若檢測出人體，則對該人體進(jìn)行人臉識別并判斷出年齡；進(jìn)一步利用三維卷積神經(jīng)網(wǎng)絡(luò)檢測視頻幀中是否存在人搬動物品的姿態(tài)，若存在無法識別人臉判斷年齡失敗的情形，則根據(jù)人搬動物品的姿態(tài)得到并輸出人體運動幅度參數(shù)來輔助判斷人的年齡；

利用跟蹤算法對檢測到的人體進(jìn)行跟蹤，并結(jié)合上述年齡、危險物品位置信息、人搬動物品的姿態(tài)來判斷是否存在小孩攀爬高處、小孩/老人移動、靠近或者觸摸危險物品的情形，若是，則觸發(fā)告警，轉(zhuǎn)步驟3；

步驟3、空調(diào)將采集的涉及告警的視頻或者預(yù)置的文字發(fā)送至綁定的用戶移動終端。

2.根據(jù)權(quán)利要求1所述的一種基于人體姿態(tài)跟蹤分析的室內(nèi)危險情況告警的方法，其特征在于:步驟3中空調(diào)通過自身的揚聲器播放對應(yīng)的告警錄音。

3.根據(jù)權(quán)利要求1所述的一種基于人體姿態(tài)跟蹤分析的室內(nèi)危險情況告警的方法，其特征在于:增加特定求救手勢的神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練，采集各種個體做出的特定求救手勢的圖像進(jìn)行標(biāo)定分類；選用的神經(jīng)網(wǎng)絡(luò)模型為深度網(wǎng)絡(luò)中的二維卷積神經(jīng)網(wǎng)絡(luò)，對上述采集的圖像通過無監(jiān)督學(xué)習(xí)進(jìn)行初始參數(shù)設(shè)定,然后對標(biāo)定的特定求救手勢進(jìn)行學(xué)習(xí)；在步驟2中增加第三線程用于特定求救手勢告警,對單幀圖像通過滑塊移動的方式利用神經(jīng)網(wǎng)絡(luò)模型逐區(qū)域判斷是否存在特定求救手勢，若檢測到，則觸發(fā)告警，轉(zhuǎn)步驟3。

4.根據(jù)權(quán)利要求1所述的一種基于人體姿態(tài)跟蹤分析的室內(nèi)危險情況告警的方法，其特征在于:增加火焰圖像的神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練,采集各種火焰圖像進(jìn)行標(biāo)定分類；選用的神經(jīng)網(wǎng)絡(luò)模型為深度網(wǎng)絡(luò)中的二維卷積神經(jīng)網(wǎng)絡(luò),對上述采集的圖像通過無監(jiān)督學(xué)習(xí)進(jìn)行初始參數(shù)設(shè)定，然后對標(biāo)定的火焰圖像進(jìn)行學(xué)習(xí)；在步驟2中增加第四線程用于火災(zāi)情況告警，對單幀圖像通過滑塊移動的方式利用神經(jīng)網(wǎng)絡(luò)模型逐區(qū)域判斷是否存在火焰,若檢測到，則觸發(fā)告警，轉(zhuǎn)步驟3。