[發明專利]基于Kinect深度圖像的人體摔倒自動檢測方法

有效

• 申請號: 201510074534.3
• 申請日: 2015-02-12
• 公開（公告）號: CN104680525B
• 公開（公告）日: 2017-05-10
• 發明（設計）人: 瞿暢;李宗安;王君澤;張小萍;朱小龍
• 申請（專利權）人: 南通大學
• 主分類號: G06T7/593
• 分類號: G06T7/593;G06T7/73;G08B21/04
• 代理公司: 南京正聯知識產權代理有限公司32243
• 代理人: 顧伯興

1.一種基于Kinect深度圖像的人體摔倒自動檢測方法，其特征在于：具體步驟如下：

A、準備一臺安裝有NITE1.5.2.21、OpenNI1.5.4.0和SensorKinect093的計算機，SensorKinect093是Kinect的驅動程序，SensorKinect093用于Kinect在NITE1.5.2.21的框架下與計算機相連，OpenNI1.5.4.0開發包中包含了Kinect中各傳感器的接口以及應用程序編程接口API；

B、Kinect安裝的高度距離地面DECF的高度d＝2.6m，Kinect下俯視角β＝31^°，以覆蓋整個檢測環境；

C、啟動基于Kinect深度圖像的摔倒自動檢測系統，用戶可以在規定的檢測環境內部自由地進行日常活動；

D、在計算機主機的驅動下，Kinect啟動其自帶的紅外線發射器，通過紅外線覆蓋整個檢測環境，對整個檢測環境內的靜止物體和運動物體進行持續照射，然后通過自帶的紅外線CMOS攝像機收集和記錄環境內的紅外線反射光線，并對檢測環境內的所有物體進行光編碼運算；

E、Kinect在獲取檢測環境內所有物體在Kinect坐標下的三維縱深編碼值后，通過Kinect內部的解碼芯片對獲取的三維縱深編碼進行解碼運算，獲取檢測環境下所有物體的深度圖像數據流；

F、在計算機上，通過OpenNI SDK中的Simpleviewer數據接口，可在計算機屏幕上顯示Kinect實時獲取的檢測環境內的深度圖像；

G、Kinect將獲取的檢測環境內的深度圖像數據通過應用程序編程接口API傳遞至已編寫完成的應用程序，對檢測環境深度圖像中的人體前景圖進行分割和提取，建立人體深度圖像前景圖的三維包圍盒，在人體被障礙物遮擋情況下，啟動遮擋融合算法，判別人體摔倒事件是否發生，并進一步通過語音應答確認，如果摔倒事件發生，則向已登記的手機發送摔倒報警短信；

其中，建立人體深度圖像前景圖的三維包圍盒，具體步驟如下：首先，利用Simpleviewer數據接口獲取檢測環境內的深度圖像，并通過閾值法將深度圖像中的人體深度圖像前景圖進行著色、分割和提取，以區別于檢測環境內的背景深度圖像；第二，利用先腐蝕后膨脹的算法對具有三維縱深的人體深度圖像前景圖的外表面進行去噪和去空洞處理，使人體深度圖像前景圖的外表面保持光滑；第三，基于OpenNI的Skeletonwrappedskin接口，對人體深度圖像前景圖的外表面進行皮膚重構，利用面積S＝m且不等形狀的三角形將人體深度圖像前景圖的外表面進行重新包裹；第四，在對人體前景圖外表面進行皮膚重構的基礎上，利用OpenNI的Closestpointvierwer接口，獲取人體深度圖像前景圖在檢測環境內的前、后、上、下、左、右像素邊界點A、B、C、D、E、F，此像素邊界點即為第三步中面積S＝m且不等形狀三角形的頂點；最后，以像素邊界點A、B、C、D、E、F為切點，建立包裹人體深度圖像前景圖前、后、上、下、左、右的6個矩形平面，通過這6個平面構建起三維包圍盒；自動檢測方法獲取三維包圍盒的長、寬、高數值i、j、k，以及長、寬、高數值i、j、k在單位幀內的變化速度I、J、K，T為數值i、j、k不變情況下的停留時間，設定為t，根據人體尺寸以及摔倒實驗，設定p₁、p₂、p₃、p₄值：

判定條件一：即檢測過程中，當人體深度圖像三維包圍盒的k＜p₁或時，滿足條件一的要求；

判定條件二：即檢測過程中，人體深度圖像三維包圍盒的變化速度K＞p₃或時，滿足條件二的要求；

判定條件三：Th₃＝(T≥t)，即檢測過程中，人體深度圖像三維包圍盒的長、寬、高數值i、j、k保持數據不發生變化的時間T≥t時，滿足條件三的要求；

當成立，即同時滿足條件一、二、三的要求時，自動檢測方法判定人體摔倒事件發生；

人體被障礙物遮擋情況下的檢測：人體運動至與遮擋物接近，當人體深度圖像邊界點與遮擋物深度圖像邊界點的最近距離L≤q時，q為設定值，遮擋融合算法啟動，直至人體深度圖像邊界點與遮擋物深度圖像邊界點的最近距離L＞q時，遮擋融合算法關閉；在遮擋融合算法運行期間，人體深度圖像會與遮擋物深度圖像融為一體R，此時摔倒檢測方法建立深度圖像R的三維包圍盒，并獲取此三維包圍盒的長、寬、高數值i'、j'、k'，以及長、寬、高數值i'、j'、k'在單位幀內的變化速度I'、J'、K'，n為遮擋物深度圖像的高度數值，T'為k'＝n的停留時間，設定為t'：

判定條件四：Th₄＝(k'＝n)，即檢測過程中，當L≤q時，啟動遮擋融合算法，當融合后的深度圖像R三維包圍盒的k'＝n時，滿足條件四的要求；

判定條件五：Th₅＝(K'＞p₃)，即檢測過程中，當L≤q時，啟動遮擋融合算法，當融合后的深度圖像R三維包圍盒的變化速度K'＞p₃時，滿足條件五的要求；

判定條件六：Th₆＝(T'≥t')，即檢測過程中，當L≤q時，啟動遮擋融合算法，當融合后的深度圖像R三維包圍盒的高度值k'＝n保持不變的時間T'≥t'時，滿足條件六的要求；

當成立，即同時滿足條件四、五、六的要求時，自動檢測方法判定人體摔倒事件發生。

2.根據權利要求1所述基于Kinect深度圖像的人體摔倒自動檢測方法，其特征在于：本系統借助語音識別模塊，在算法檢測結束后，通過語音應答進一步確認人體是否摔倒，若確認摔倒，則向已登記的手機發送摔倒報警信息；語音識別模塊基于LD3320A模塊開發，采用JLINK V8接口，并通過USB接口與計算機主機連接，當人體在居家環境內部進行日常活動，人體某一序列幀內的運動狀態符合或時，則本摔倒事件自動檢測方法初步判定人體摔倒事件發生，而后摔倒事件檢測方法調用語音輸出開發包Microsoft Speech SDK 5.1，通過計算機自帶的揚聲器每隔5秒發出語音詢問“您摔倒了嗎？”，若語音識別模塊30秒內接收到語音應答“沒有”，則系統摔倒預警解除，繼續下一幀的檢測；若語音識別模塊30秒內未接受到語音應答“沒有”或未接受到任何應答，則系統向短信發報模塊發出指令，向已登記的手機發送摔倒報警信息；報警短信發送模塊基于SIM900A模塊開發，采用RS232接口，通過USB接口與計算機主機連接，報警短信內容預存于模塊內部，內容可自行編輯，如“某某人已經摔倒”；接收方的手機號碼需預先在模塊內進行登記，可登記2至3個號碼，當系統通過上述檢測最終將命令傳至短信發報模塊后，短信發報模塊會立即向已登記的手機發送摔倒報警信息，至此整個摔倒檢測流程結束。