[發(fā)明專(zhuān)利]一種基于深度學(xué)習(xí)的實(shí)時(shí)跌倒檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010006573.0
• 申請(qǐng)日: 2020-01-03
• 公開(kāi)（公告）號(hào): CN111209848B
• 公開(kāi)（公告）日: 2023-07-21
• 發(fā)明（設(shè)計(jì)）人: 孫光民;王中岐;李新夢(mèng)
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京工業(yè)大學(xué)
• 主分類(lèi)號(hào): G06V40/10
• 分類(lèi)號(hào): G06V40/10;G06V10/46;G06V10/80;G06V10/764;G06V10/774;G06V10/82;G06N3/0464
• 代理公司: 北京思海天達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11203
• 代理人: 劉萍

1.一種基于深度學(xué)習(xí)的實(shí)時(shí)跌倒檢測(cè)方法，其特征在于，具體步驟如下所示：

步驟1，采集人體圖像；

步驟2，進(jìn)行人體骨骼關(guān)鍵點(diǎn)識(shí)別；

步驟2.1，使用神經(jīng)網(wǎng)絡(luò)卷積提取特征，預(yù)測(cè)每個(gè)關(guān)鍵點(diǎn)的熱點(diǎn)圖譜，通過(guò)多階段的學(xué)習(xí)，每個(gè)階段對(duì)上一個(gè)階段的結(jié)果優(yōu)化；

使用VGG-19網(wǎng)絡(luò)進(jìn)行特征提取得到特征圖feature-map，由VGG-19的前10層初始化并進(jìn)行微調(diào)，生成一組輸入到每個(gè)分支第一階段的特征映射F，在第一階段，網(wǎng)絡(luò)產(chǎn)生一組置信圖的預(yù)測(cè)S¹＝ρ¹(F)和一組部分親和力場(chǎng)其中ρ¹和是用于階段1推斷的CNN；在隨后的階段，來(lái)自前一階段的兩個(gè)分支的預(yù)測(cè)以及原始圖像F被用于精確預(yù)測(cè)；特征F被連接并用于產(chǎn)生精確預(yù)測(cè)

公式中ρ^t和是階段t的預(yù)測(cè)；

網(wǎng)絡(luò)的兩個(gè)分支有著兩個(gè)損失函數(shù)，每個(gè)分支一個(gè)，對(duì)于損失函數(shù)加權(quán)計(jì)算；

和分別是不同階段t的L2損失函數(shù)，f為總體的損失函數(shù)；為每個(gè)人生成個(gè)人的置信度圖，由網(wǎng)絡(luò)預(yù)測(cè)出各個(gè)置信度的集合；

在網(wǎng)絡(luò)訓(xùn)練過(guò)程中，對(duì)于某一類(lèi)給定的關(guān)鍵點(diǎn)j，對(duì)于某一個(gè)人k，他的置信度標(biāo)志圖只有一個(gè)峰值，置信度標(biāo)簽為每一個(gè)點(diǎn)到數(shù)據(jù)真實(shí)點(diǎn)的高斯距離；對(duì)于多個(gè)人，使用非極大值抑制剔除網(wǎng)絡(luò)中得分低的數(shù)據(jù)；

步驟2.2，對(duì)于預(yù)測(cè)的關(guān)鍵點(diǎn)增加矢量編碼，對(duì)同一個(gè)人的不同部位進(jìn)行連接；給定一組檢測(cè)到的身體部位，對(duì)于每一對(duì)身體部位檢測(cè)關(guān)聯(lián)進(jìn)行置信度度量，使用PAFs特征表示法，PAFs是每個(gè)肢體的2D矢量場(chǎng)，對(duì)于屬于特定肢體的區(qū)域中的每個(gè)像素，2D矢量編碼從肢體的一部分指向另一部分的方向；

每種類(lèi)型的肢體都有一個(gè)對(duì)應(yīng)的PAFs區(qū)域，用于連接兩個(gè)相關(guān)的身體部位；對(duì)檢測(cè)置信度圖進(jìn)行非極大值抑制，以獲得一組離散的部位候選位置；對(duì)于每個(gè)部分，會(huì)有多個(gè)候選位置，候選位置定義了一大組候選的肢體；使用PAFs上的線積分計(jì)算來(lái)評(píng)分每個(gè)候選肢體，尋找最佳解析的問(wèn)題對(duì)應(yīng)于已知為NP-Hard的K維匹配問(wèn)題，使用匈牙利算法來(lái)獲得最佳匹配；

步驟2.3，采集了人體各個(gè)動(dòng)作的RGB圖片，包含人體日常行為和跌倒圖像，使用tensorflow框架對(duì)采集圖片進(jìn)行訓(xùn)練，隨著迭代次數(shù)不斷增加，損失函數(shù)值不算減小，設(shè)置迭代次數(shù)為5000次以上，使用模型對(duì)測(cè)試集進(jìn)行測(cè)試；

步驟3，使用SSD-Mobilenet目標(biāo)檢測(cè)模型對(duì)檢測(cè)的人體關(guān)鍵點(diǎn)區(qū)域進(jìn)行目標(biāo)檢測(cè)，去掉非人體的部分；

步驟3.1首先使用Mobilenet網(wǎng)絡(luò)對(duì)COCO數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，這個(gè)數(shù)據(jù)集包括80類(lèi)目標(biāo)，得到預(yù)訓(xùn)練的參數(shù)；

步驟3.2使用步驟2.3中的人體數(shù)據(jù)集，使用LabelImg工具標(biāo)注人體樣本，樣本被標(biāo)注好后，生成一一對(duì)應(yīng)的xml文件，然后調(diào)用xml_to_csv.py生成csv表格，接下來(lái)使用generate_tfrecord.py文件把csv文件轉(zhuǎn)化為tensorflow框架能識(shí)別的tfrecord格式；步驟3.3把步驟3.2生成的數(shù)據(jù)和步驟3.1生成的預(yù)訓(xùn)練模型融合特征傳入SSD網(wǎng)絡(luò)，設(shè)置迭代10000次以上，當(dāng)損失達(dá)到小于1.8時(shí)停止訓(xùn)練；

步驟4，使用SVDD分類(lèi)算法對(duì)采集到的人體骨骼關(guān)鍵點(diǎn)進(jìn)行分類(lèi)；

采用SVDD異常檢測(cè)方法，通過(guò)網(wǎng)格搜索對(duì)參數(shù)進(jìn)行優(yōu)化；形成正樣本訓(xùn)練的正常域，并通過(guò)正常域檢測(cè)跌倒行為；

對(duì)于給定的樣本集X，其包含N個(gè)樣本，使用懲罰因子C和松弛變量ξ_i，當(dāng)半球R的超球面中心時(shí)，讓正樣本完全被球體包圍，相應(yīng)的優(yōu)化方程是：