[發(fā)明專利]一種基于視頻監(jiān)控的全天無陪護(hù)病房患者跌倒檢測方法

在審

• 申請?zhí)枺?/td>: 202210116062.3
• 申請日: 2022-01-29
• 公開（公告）號: CN114495280A
• 公開（公告）日: 2022-05-13
• 發(fā)明（設(shè)計(jì)）人: 劉曉亮;高素君;趙欣;王京華;湯發(fā)源;曲從程;趙永興
• 申請（專利權(quán)）人: 吉林大學(xué)第一醫(yī)院;長春理工大學(xué)
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/40;G06V10/764;G06V10/774;G06V10/82;G06N3/04;G06N3/08;G06K9/62
• 代理公司: 北京中理通專利代理事務(wù)所(普通合伙) 11633
• 代理人: 劉慧宇

1.一種基于視頻監(jiān)控的全天無陪護(hù)病房患者跌倒檢測方法，其特征是，該方法包括以下步驟：

步驟1，視頻圖像預(yù)處理：基于日間RGB攝像機(jī)或夜間熱紅外攝像機(jī)對預(yù)定區(qū)域進(jìn)行圖像采集，獲得圖片幀；

步驟2，標(biāo)定病床邊界框：使用YOLOv5s目標(biāo)檢測網(wǎng)絡(luò)預(yù)先標(biāo)定病床的邊界框坐標(biāo)；自定義病床目標(biāo)檢測數(shù)據(jù)集，并基于YOLOv5s進(jìn)行訓(xùn)練，實(shí)現(xiàn)病床目標(biāo)邊界框檢測，若不對病床進(jìn)行移動(dòng)，只需檢測到病床的位置后即可停止，否則，需要重新檢測；

步驟3，檢測人體關(guān)鍵點(diǎn)：基于日間RGB攝像或夜間熱紅外攝像，利用相對應(yīng)的日間或夜間人體關(guān)鍵點(diǎn)檢測網(wǎng)絡(luò)，檢測圖像中18個(gè)人體關(guān)鍵點(diǎn)坐標(biāo)；

步驟4，提取人體跌倒特征：對檢測到的18個(gè)關(guān)鍵點(diǎn)坐標(biāo)進(jìn)行標(biāo)準(zhǔn)化處理，計(jì)算人體部分關(guān)鍵點(diǎn)邊界框的縱橫比，人體部分關(guān)鍵邊界框與病床邊界框的交并比IOU；

步驟5，判斷人體是否跌倒：將標(biāo)準(zhǔn)化后的18個(gè)人體關(guān)鍵點(diǎn)坐標(biāo)，人體部分關(guān)鍵點(diǎn)外接矩形的縱橫比，人體部分關(guān)鍵點(diǎn)外接矩形與病床邊界框的交并比，作為患者日?；顒?dòng)的特征向量，并利用隨機(jī)森林算法實(shí)現(xiàn)患者跌倒檢測；

步驟6：將檢測到跌倒的圖片發(fā)送到醫(yī)護(hù)人員手機(jī)端并發(fā)出警報(bào)，醫(yī)護(hù)人員通過觀察圖片可以進(jìn)一步判斷是否是誤報(bào)情況。

2.根據(jù)權(quán)利要求1所述的一種基于視頻監(jiān)控的全天無陪護(hù)病房患者跌倒檢測方法，其特征在于，所述步驟3的具體流程為：

在RGB模式下，基于COCO數(shù)據(jù)集，訓(xùn)練OpenPose關(guān)鍵點(diǎn)網(wǎng)絡(luò)檢測人體關(guān)鍵點(diǎn)；在熱紅外模式下，采集夜間人體姿態(tài)圖片，并進(jìn)行人體關(guān)鍵點(diǎn)標(biāo)注，基于自定義夜間人體姿態(tài)數(shù)據(jù)集訓(xùn)練夜間OpenPose人體姿態(tài)識別網(wǎng)絡(luò)；

3.根據(jù)權(quán)利要求1所述的一種基于視頻監(jiān)控的全天無陪護(hù)病房患者跌倒檢測方法，其特征在于，步驟4的具體流程為：

S1，利用檢測到的18個(gè)人體關(guān)鍵點(diǎn)，生成人體邊界框，基于人體邊界框?qū)﹃P(guān)鍵點(diǎn)坐標(biāo)進(jìn)行標(biāo)準(zhǔn)化，消除了圖片中不同位置和身形大小對關(guān)鍵點(diǎn)表示人體姿態(tài)的影響，標(biāo)準(zhǔn)化公式如下：

標(biāo)準(zhǔn)化后的關(guān)鍵點(diǎn)橫坐標(biāo)：

標(biāo)準(zhǔn)化后關(guān)鍵點(diǎn)的縱坐標(biāo)：

其中X_N，Y_N是標(biāo)準(zhǔn)化后的關(guān)鍵點(diǎn)的坐標(biāo)，w，h是自定義標(biāo)準(zhǔn)化后的關(guān)鍵點(diǎn)所在圖片的寬和高，x，y是相對于輸入圖片的關(guān)鍵點(diǎn)的坐標(biāo)，其中x_b，y_b是基于檢測到的18個(gè)關(guān)鍵點(diǎn)生成的人體邊界框的左上角坐標(biāo)，w_b，h_b是人體邊界框的寬和高；

S2，利用14個(gè)人體關(guān)鍵點(diǎn)即鼻子、眼睛、耳朵、脖子、肩膀、臀部、膝蓋和腳踝，生成人體部分關(guān)鍵點(diǎn)邊界框，消除手腕，肘部關(guān)節(jié)點(diǎn)對人體邊界框的影響，計(jì)算人體部分關(guān)鍵點(diǎn)邊界框的縱橫比；

S3，定義人體部分關(guān)鍵點(diǎn)外接矩形與病床邊界框的交集的面積為IS，并集的面積為US，則交并比計(jì)算式為：

交集的寬w＝w₁+w₂-(max((x₁+w₁)，(x₂+w₂))-min(w₁，w₂))

交集的高：h＝h₁+h₂-(max((y₁+h₁，(y₂+h₂))-min(h₁，h₂))

交集的面積：IS＝w×h

并集的面積：US＝w₁×h₁+w₂×h₂

交并比：IOU＝IS/US

式中(x₁，y₁)、w₁和h₁分別表示人體部分關(guān)鍵點(diǎn)邊界框的中心坐標(biāo)、寬和高，(x₂，y₂)、w₂和h₂分別表示病床邊界框的中心坐標(biāo)、寬和高，IOU表示人體部分關(guān)鍵點(diǎn)外接矩形與病床邊界框的交并比。

4.根據(jù)權(quán)利要求1所述的一種基于視頻監(jiān)控的全天無陪護(hù)病房患者跌倒檢測方法，其特征在于，步驟5的具體流程為：

S1：模擬醫(yī)院病房環(huán)境，包含人體和病床目標(biāo)，并進(jìn)行人體跌倒模擬實(shí)驗(yàn)采集數(shù)據(jù)，將人體的活動(dòng)狀態(tài)分為跌倒和非跌到兩種狀態(tài)；

S2：自定人體跌倒CSV格式的數(shù)據(jù)集。其中人體的日?；顒?dòng)狀態(tài)以38列矩陣表示，分別表示18個(gè)標(biāo)準(zhǔn)化后的骨骼關(guān)節(jié)點(diǎn)的坐標(biāo)值，人體部分關(guān)鍵點(diǎn)邊界框的縱橫比，人體部分關(guān)鍵點(diǎn)邊界框于病床邊界框的交并比，以及表示患者狀態(tài)的類別標(biāo)簽-1為跌倒和1為非跌到；

S3：利用隨機(jī)森林算法對人體跌倒數(shù)據(jù)集進(jìn)行訓(xùn)練，實(shí)現(xiàn)對病房中患者跌倒?fàn)顟B(tài)的檢測。