[發(fā)明專利]一種基于自主導(dǎo)航和危險(xiǎn)動作識別的養(yǎng)老服務(wù)系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202211329524.6
• 申請日: 2022-10-27
• 公開（公告）號: CN115562301A
• 公開（公告）日: 2023-01-03
• 發(fā)明（設(shè)計(jì)）人: 韓修磊;李永琳;姜玉東;李浩然;楊慶鳳;王翠紅;辛玉紅;婁倫富;李子文;張嘉
• 申請（專利權(quán)）人: 金陵科技學(xué)院
• 主分類號: G05D1/02
• 分類號: G05D1/02
• 代理公司: 南京鐘山專利代理有限公司 32252
• 代理人: 戴朝榮

1.一種基于自主導(dǎo)航和危險(xiǎn)動作識別的養(yǎng)老服務(wù)系統(tǒng)，其特征在于，包括：自主導(dǎo)航模塊、控制器、建筑信息建模模塊、行為識別模塊、人機(jī)交互模塊，所述控制器分別與自主導(dǎo)航模塊、建筑信息建模模塊、行為識別模塊、人機(jī)交互模塊連接；所述自主導(dǎo)航模塊通過環(huán)境地圖構(gòu)建和路徑規(guī)劃實(shí)現(xiàn)自主導(dǎo)航；所述建筑信息建模模塊用于實(shí)現(xiàn)建筑的可視化；所述行為識別模塊用于識別老年人作出的危險(xiǎn)行為和實(shí)現(xiàn)養(yǎng)老機(jī)器人對老人的跟從；所述人機(jī)交互模塊用于實(shí)現(xiàn)老年人和養(yǎng)老服務(wù)機(jī)器人的交互。

2.根據(jù)權(quán)利要求1所述的一種基于自主導(dǎo)航和危險(xiǎn)動作識別的養(yǎng)老服務(wù)系統(tǒng)，其特征在于，所述自主導(dǎo)航模塊實(shí)現(xiàn)自主導(dǎo)航的過程為：

采用Gmapping功能包進(jìn)行自主導(dǎo)航，在運(yùn)動過程中不斷獲取激光雷達(dá)的對周圍環(huán)境進(jìn)行感知的深度信息以及不斷接收里程計(jì)信息，用于定位自身位置和確定當(dāng)前姿態(tài)，在機(jī)器人位置已知的情況下，通過激光雷達(dá)掃描到環(huán)境特征，得出機(jī)器人與障礙物的距離，通過機(jī)器人自身位姿計(jì)算出障礙物的坐標(biāo)，采用bresenham直線段掃面算法將障礙物所處柵格標(biāo)注為灰色-已占據(jù)，機(jī)器人所處的柵格與障礙物所處柵格之間畫直線，直線所到之處標(biāo)注為白色-未占據(jù)，機(jī)器人在運(yùn)動過程中來自激光雷達(dá)的新數(shù)據(jù)對柵格地圖不斷更新，最終完成了機(jī)器人所在環(huán)境的二維柵格地圖的建立；在得到二維柵格地圖的基礎(chǔ)上，再使用PRM算法進(jìn)行路徑規(guī)劃：在已獲取的二維柵格地圖基礎(chǔ)上生成隨機(jī)采樣點(diǎn)，在避開障礙物的基礎(chǔ)上，生成多條機(jī)器人到目標(biāo)點(diǎn)的路線，計(jì)算并選擇出最優(yōu)路徑，最終實(shí)現(xiàn)機(jī)器人到目標(biāo)點(diǎn)的路徑規(guī)劃，最后再向底盤驅(qū)動節(jié)點(diǎn)輸出速度控制機(jī)器人從朝著目標(biāo)點(diǎn)運(yùn)動，在運(yùn)動過程中不斷接收激光雷達(dá)和里程計(jì)信息來確定自身位姿，完成從起始點(diǎn)到達(dá)目標(biāo)點(diǎn)的自主定位導(dǎo)航。

3.根據(jù)權(quán)利要求1所述的一種基于自主導(dǎo)航和危險(xiǎn)動作識別的養(yǎng)老服務(wù)系統(tǒng)，其特征在于，所述建筑信息建模模塊的建模過程為：根據(jù)養(yǎng)老院實(shí)際建筑設(shè)計(jì)圖建立初步BIM模型，導(dǎo)入3DS MAX 2018中進(jìn)行簡單渲染，渲染后，將其輸出為Unity 3D可以使用的.fbx文件格式，再利用Unity引擎對BIM模型進(jìn)行二次開發(fā)，二次開發(fā)的內(nèi)容主要為，在原有模型的基礎(chǔ)上完成模型與服務(wù)器連接、實(shí)時(shí)獲取服務(wù)器系統(tǒng)數(shù)據(jù)，并在模型上顯示環(huán)境數(shù)據(jù)功能。

4.根據(jù)權(quán)利要求1所述的一種基于自主導(dǎo)航和危險(xiǎn)動作識別的養(yǎng)老服務(wù)系統(tǒng)，其特征在于，所述行為識別模塊用于識別老年人作出的危險(xiǎn)行為的過程具體如下：

i、機(jī)器人使用深度攝像頭不斷獲取視頻序列，先利用OpenPose算法，對視頻序列里人體的關(guān)鍵位置進(jìn)行預(yù)測，再對預(yù)測的關(guān)鍵點(diǎn)進(jìn)行檢測，對于人體某個(gè)位置出現(xiàn)峰值的關(guān)鍵點(diǎn)，代表人體骨架關(guān)節(jié)點(diǎn)的一個(gè)關(guān)鍵點(diǎn)，對所有代表人體骨架關(guān)節(jié)點(diǎn)的關(guān)鍵點(diǎn)進(jìn)行連接，最終生成骨骼結(jié)構(gòu)圖像，從而獲得人體骨架結(jié)構(gòu)變化序列，構(gòu)造骨架結(jié)構(gòu)變化時(shí)空圖；

ii、構(gòu)建一種引入注意力機(jī)制和改進(jìn)分區(qū)策略的殘差ST-GCN卷積網(wǎng)絡(luò)的人體動作識別模型，將骨架結(jié)構(gòu)變化時(shí)空圖輸入構(gòu)建的人體動作識別模型中，首先，通過兩個(gè)ST-GCN卷積層以及一個(gè)最大池化層，學(xué)習(xí)骨架結(jié)構(gòu)變化時(shí)空圖的時(shí)空特征；同時(shí)對骨架結(jié)構(gòu)變化時(shí)空圖進(jìn)行downsampl操作，使骨架結(jié)構(gòu)變化時(shí)空圖和學(xué)習(xí)到的時(shí)空特征具有相同的尺寸，最后將兩者相加，提取動作特征；

iii、將提取的動作特征輸入SoftMax分類器中，得出動作類別，若動作類別為危險(xiǎn)行為類別，則發(fā)出報(bào)警消息。

5.根據(jù)權(quán)利要求4所述的一種基于自主導(dǎo)航和危險(xiǎn)動作識別的養(yǎng)老服務(wù)系統(tǒng)，其特征在于，所述改進(jìn)分區(qū)根據(jù)節(jié)點(diǎn)到根節(jié)點(diǎn)之間的距離劃分鄰域集，所述分區(qū)距離設(shè)置為D＝{d|0，1，2}，將鄰域集劃分成3個(gè)子集：(1)d＝0為根節(jié)點(diǎn)本身；(2)距離根節(jié)點(diǎn)d＝1的鄰居節(jié)點(diǎn)位于d＝1子集中；(3)剩余距離根節(jié)點(diǎn)d＝2的節(jié)點(diǎn)位于d＝2子集中。

6.根據(jù)權(quán)利要求4所述的一種基于自主導(dǎo)航和危險(xiǎn)動作識別的養(yǎng)老服務(wù)系統(tǒng)，其特征在于，所述動作特征的提取過程為：

其中，A為鄰接矩陣，I為單位矩陣，f_out為提取的動作特征，f_in為骨架結(jié)構(gòu)變化時(shí)空圖，W為利用擴(kuò)展到三維結(jié)構(gòu)的注意力網(wǎng)絡(luò)對人體關(guān)節(jié)點(diǎn)賦予的權(quán)重矩陣。