[發(fā)明專利]一種基于TOF相機(jī)車廂內(nèi)人員活動的監(jiān)控方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202010408051.3
• 申請日: 2020-05-14
• 公開（公告）號: CN111597974B
• 公開（公告）日: 2023-05-12
• 發(fā)明（設(shè)計(jì)）人: 孫安康;張如意;蔡劉平;郭慶洪;吳自翔;于振中;李文興
• 申請（專利權(quán)）人: 哈工大機(jī)器人（合肥）國際創(chuàng)新研究院
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V20/59;G06V10/774;G06V40/20;G06T5/00;G06T7/514
• 代理公司: 合肥市浩智運(yùn)專利代理事務(wù)所(普通合伙) 34124
• 代理人: 丁瑞瑞

1.一種基于TOF相機(jī)的車廂內(nèi)人員活動的監(jiān)控方法，其特征在于，所述方法包括：

1)、獲取車輛內(nèi)部載人區(qū)域的TOF圖像；

2)、利用預(yù)先訓(xùn)練的VGGNet網(wǎng)絡(luò)識別出人體關(guān)鍵點(diǎn)，其中，所述人體關(guān)鍵點(diǎn)包括：頭、頸、雙肘、雙手、腰、雙膝、雙腳中的一種或組合；

所述利用預(yù)先訓(xùn)練的VGGNet網(wǎng)絡(luò)識別出人體關(guān)鍵點(diǎn)，包括：

獲取VGGNet網(wǎng)絡(luò)輸出的預(yù)測人體關(guān)鍵點(diǎn)位置的置信度圖；

根據(jù)置信度圖選取關(guān)鍵點(diǎn)，并根據(jù)點(diǎn)云檢查關(guān)鍵點(diǎn)部位的空間位置和方向，獲取人體對應(yīng)的所有關(guān)鍵點(diǎn)；

所述獲取人體對應(yīng)的所有關(guān)鍵點(diǎn)，包括：

獲取VGGNet網(wǎng)絡(luò)輸出的預(yù)測人體關(guān)鍵點(diǎn)位置的置信度圖；每一個(gè)關(guān)鍵點(diǎn)輸出一張置信度圖；

將每個(gè)置信度圖中的極大值作為候選點(diǎn)，結(jié)合人體骨骼框架的連接算法確定關(guān)鍵點(diǎn)并連接骨骼框架；

采用廣度優(yōu)先的方式，連接所有相鄰的候選點(diǎn)，得到骨骼線條的候選方案；

判斷所有候選方案中骨骼線條長度的比例，刪除不符合人體學(xué)結(jié)構(gòu)的方案；

循環(huán)遍歷所有候選點(diǎn)得到人體骨骼框架，孤立的候選點(diǎn)則為無效的關(guān)鍵點(diǎn)；

3)、根據(jù)所述關(guān)鍵點(diǎn)以及對應(yīng)的人體學(xué)結(jié)構(gòu)，將所述關(guān)鍵點(diǎn)連接成骨骼框架，并根據(jù)圖像序列得到人體骨骼框架序列；利用預(yù)先訓(xùn)練的ST-GCN網(wǎng)絡(luò)模型識別出人體骨骼框架序列對應(yīng)的人員動作；

4)、根據(jù)人員動作與預(yù)設(shè)的危險(xiǎn)行為之間的匹配關(guān)系，判斷所述人員動作是否屬于危險(xiǎn)行為，其中，所述危險(xiǎn)行為包括：副駕駛觸碰檔位或影響方向盤、司機(jī)越界中的一種或組合。

2.根據(jù)權(quán)利要求1所述的一種基于TOF相機(jī)的車廂內(nèi)人員活動的監(jiān)控方法，其特征在于，在步驟2)之前，所述方法包括：

對所述TOF圖像進(jìn)行預(yù)處理，其中，所述預(yù)處理包括：對圖像進(jìn)行濾波處理、進(jìn)行點(diǎn)云的轉(zhuǎn)換或者擬合處理中的一種或組合。

3.根據(jù)權(quán)利要求2所述的一種基于TOF相機(jī)的車廂內(nèi)人員活動的監(jiān)控方法，其特征在于，所述對圖像進(jìn)行濾波處理，包括：

針對每一個(gè)像素點(diǎn)，利用公式，

對TOF圖像的進(jìn)行濾波處理，其中，

P(x,y)為圖像中點(diǎn)(x,y)的像素值；V(x,y)為點(diǎn)(x,y)周圍2n+1去心鄰域像素點(diǎn)的平均值；n為濾波的模版大小；t為濾波的閾值；f(x,y)為濾波后點(diǎn)(x,y)新的像素值。

4.根據(jù)權(quán)利要求2所述的一種基于TOF相機(jī)車廂內(nèi)人員活動的監(jiān)控方法，其特征在于，所述進(jìn)行點(diǎn)云的轉(zhuǎn)換，包括：

利用公式，將濾波后的深度圖轉(zhuǎn)換成點(diǎn)云圖，其中，

P(v,u)是圖像中點(diǎn)(v,u)位置的像素值；cx,cy,fx,fy為相機(jī)內(nèi)參；x,y,z為點(diǎn)云圖三維世界坐標(biāo)系下的坐標(biāo)；

根據(jù)點(diǎn)云圖建立實(shí)時(shí)的場景模型，并利用公式，Deep_物＝Deep_場-Deep_背，從實(shí)時(shí)的場景模型中減去空車時(shí)汽車內(nèi)背景模型，得到物體的點(diǎn)云，其中，Deep_物為物體的點(diǎn)云；Deep_場為實(shí)時(shí)的場景模型；Deep背為預(yù)先建立的空車場景模型。

5.根據(jù)權(quán)利要求4所述的一種基于TOF相機(jī)車廂內(nèi)人員活動的監(jiān)控方法，其特征在于，所述擬合處理，包括：

根據(jù)生成的物體點(diǎn)云模型，使用RANSAC算法擬合出點(diǎn)云中的所有近似平面；

然后根據(jù)相機(jī)安裝的位置和角度估算和查找司機(jī)靠背的點(diǎn)云平面；

結(jié)合以上擬合出來的平面劃分兩個(gè)相機(jī)的工作區(qū)域，將工作區(qū)范圍之外的像素點(diǎn)丟棄掉，得到目標(biāo)區(qū)域的點(diǎn)云圖；

從所述目標(biāo)區(qū)域的點(diǎn)云圖檢測異常狀態(tài)，其中，所述異常狀態(tài)包括：手剎狀態(tài)、檔位狀態(tài)以及行李狀態(tài)的一種或組合。

6.根據(jù)權(quán)利要求1所述的一種基于TOF相機(jī)的車廂內(nèi)人員活動的監(jiān)控方法，其特征在于，所述VGGNet網(wǎng)絡(luò)的訓(xùn)練過程包括：

獲取各種人體姿態(tài)下的TOF圖像，對所述TOF圖像進(jìn)行預(yù)處理，提取出TOF圖像中關(guān)鍵部位的點(diǎn)云，縮放后給定標(biāo)簽作為訓(xùn)練數(shù)據(jù)，采用梯度下降法對VGGNet網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到訓(xùn)練后的VGGNet網(wǎng)絡(luò)模型。