[發明專利]一種面向老年陪護機器人的意圖理解方法和系統

有效

• 申請號: 202010970662.7
• 申請日: 2020-09-15
• 公開（公告）號: CN112101219B
• 公開（公告）日: 2022-11-04
• 發明（設計）人: 馮志全;豆少松;郭慶北;楊曉暉;徐濤;田京蘭;范雪
• 申請（專利權）人: 濟南大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/26;G06V10/764;G06V10/84;G06V10/82;G06N3/04;G06N3/08;G10L15/08;G10L15/22
• 代理公司: 濟南誠智商標專利事務所有限公司 37105
• 代理人: 李修杰

1.一種面向老年陪護機器人的意圖理解方法，其特征在于，包括以下步驟：

實時獲取老年人的行為圖像，所述行為圖像包括手勢圖像和姿態信息，對所述手勢圖像和姿態信息均進行圖像分割分別形成手勢數據集和姿態數據集；

將所述手勢數據集輸入訓練好的神經網絡模型進行手勢識別得到手勢識別概率集、將所述姿態數據集輸入訓練好的隱馬爾可夫模型進行姿態識別得到姿態識別概率集；

基于混淆矩陣的融合算法將所述手勢識別概率集和姿態識別概率集進行意圖融合，在不同意圖分類下，采用F1分數計算手勢識別概率集和姿態識別概率集融合時不同意圖下的權重占比；進而確定出最終識別意圖；所述基于混淆矩陣的融合算法將所述手勢識別概率集和姿態識別概率集進行意圖融合的過程為：

搭建意圖融合模型f＝F(I,Cin,Hin)；其中f為意圖融合的模型；I為意圖權重矩陣；Cin為手勢識別概率集；Hin為姿態識別概率集；

為Cin分配權重值形成n*1維權重矩陣Cconfi；為Hin分配權重值分別形成n*1維權重矩陣Hconfi；

將Cconfi和Hconfi做模糊變化得到最新意圖概率矩陣C；其中C＝CconfiοCin+HconfiοHin；其中о稱為綜合評價合成算子；

所述在不同意圖分類下，采用F1分數計算手勢識別概率集和姿態識別概率集融合時不同意圖下的權重占比的方法為：

在不同意圖下采用F1分數賦值給作為Cin各意圖分類下的權重值；賦值給作為Hin各意圖分類下的權重值；其中

基于可得到Cin的n*1維權重矩陣基于可得到Hin的n*1維權重矩陣

將Cin,Hin和Cconfi、Hconfi進行模糊變化得到一維矩陣[λ₁,λ₂,…,λ_n]^T；選出矩陣中最大值γ_i；則i意圖則為用戶最終識別意圖；其中[λ₁,λ₂,…,λ_n]^T＝Cin×Cconfi+Hin×Hconfi。

2.根據權利要求1所述的一種面向老年陪護機器人的意圖理解方法，其特征在于，在所述實時獲取老年人的行為圖像之前，還包括獲取語音通道信息，并提取語音通道信息的關鍵字啟動所述機器人。

3.根據權利要求1所述的一種面向老年陪護機器人的意圖理解方法，其特征在于，訓練神經網絡模型和訓練隱馬爾可夫模型的方法為：

獲取若干老年人操作機器人的手勢圖像樣本和姿態信息樣本；對所述手勢圖像樣本和姿態信息樣本均采用大津算法進行分割，形成老年行為特征集；

采用老年行為特征集對神經網絡模型進行訓練得到可識別手勢意圖的神經網絡模型；采用老年行為特征集對隱馬爾可夫模型進行訓練得到可識別姿態意圖的隱馬爾可夫模型。

4.根據權利要求1所述的一種面向老年陪護機器人的意圖理解方法，其特征在于，在所述機器人根據最終意圖未完成指定動作時：

啟動目標識別，采用圖像采集設備判斷具體障礙物的距離；

在到達指定目標區后，通過語音交互抓取目標物體，目標物體的起始坐標為(x,y)；機器人將所述目標物體移動至視頻框中得到坐標(x1,y1)；則目標物體的變換過程為(x→x1，y→y1)；

完成目標物體的定位后，進行抓取操作；在抓取接收后，實時捕獲老年人的意圖，進行機器人移動。