[發明專利]一種移乘搬運護理機器人的人體姿態視覺識別方法

有效

• 申請號: 201910393882.5
• 申請日: 2019-05-13
• 公開（公告）號: CN110097024B
• 公開（公告）日: 2020-12-25
• 發明（設計）人: 陳夢倩;李順達;郭士杰;劉今越;賈曉輝;劉彥開
• 申請（專利權）人: 河北工業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 天津翰林知識產權代理事務所(普通合伙) 12210
• 代理人: 付長杰

1.一種移乘搬運護理機器人的人體姿態視覺識別方法，該方法包括人體關節識別和人體腋下識別，所述人體關節識別的步驟是：

步驟A1:利用彩色相機采集人體的彩色圖，采用PAF作為彩色圖人體姿態識別的第1級神經網絡，識別出人體關節彩色圖像素坐標，即識別彩色圖2D關節位置，得到多個關節；

步驟A2:設置關節熱圖通道數量，關節熱圖通道數量與步驟A1的關節數量一致，利用深度相機采集深度圖，并根據彩色相機和深度相機模型參數將步驟A1的關節彩色圖像素坐標映射到深度圖中，獲得關節深度圖坐標，根據關節深度圖坐標生成與關節數目相同的多個關節熱圖；

步驟A3:建立改進ResNet的第2級神經網絡，將關節熱圖和深度圖輸入到基于ResNet的第2級神經網絡，得到人體關節U-V-Z坐標；再結合深度相機參數對坐標進行轉換，得出人體關節X-Y-Z坐標，即人體關節全局3D坐標；

步驟A4:對步驟A3中改進ResNet的第2級神經網絡進行參數訓練：

采用開源數據集ITOP作為訓練集，該訓練集提供包含人體的深度圖以及深度圖中人體關節實際像素坐標、全局坐標，在實際深度圖中實際人體關節像素坐標基礎上隨機偏移0到8個像素，作為由步驟A2計算得來的關節深度圖坐標，進而模擬出多個關節熱圖；

將上述的深度圖與相應的多個關節熱圖輸入到改進ResNet的第2級神經網絡中，輸出訓練的人體關節U-V-Z坐標，對訓練的人體關節U-V-Z坐標進行映射，計算訓練的人體關節X-Y-Z坐標，并采用最小均方差計算作為訓練的損失函數，計算真實人體關節X-Y-Z坐標與訓練的X-Y-Z坐標間的偏差，為第2級神經網絡的訓練提供訓練損失值，訓練完成后，最終完成基于PAF和改進ResNet的雙級串聯神經網絡的搭建；

步驟A5:將待識別的人體姿態的彩色圖像及深度圖像輸入到基于PAF和改進ResNet的雙級串聯神經網絡中，即可輸出人體關節U-V-Z坐標，再根據深度相機參數進行映射，計算待識別的人體關節的X-Y-Z坐標，輸出人體關節全局坐標，完成對當前人的識別；

所述人體腋下識別的步驟是：

步驟B1:在步驟A2中的關節深度圖坐標中選取出人體雙手、雙肘關節點的深度圖坐標，以同側手、肘關節為研究對象，選擇同側手、肘關節連接的中點作為起點，若為左側手肘中點，則基于索貝爾梯度算法向右尋找同縱坐標的腋下輪廓起始點a及腋下輪廓結束點b，若為右側手肘中點，則基于索貝爾梯度算法向左尋找同縱坐標的腋下輪廓起始點a及腋下輪廓結束點b；

步驟B2:以腋下輪廓起始點a為起點，利用最近鄰蟲隨法追蹤深度圖中的腋下邊緣，得到從腋下輪廓起始點a到腋下輪廓結束點b的腋下輪廓點序列；

步驟B3:基于步驟B2得到的腋下輪廓點序列，采用Graham凸包算法擬合得到更精確地腋下形狀，計算出腋下形心，將腋下形心作為機器人手臂腋下插入點，至此完成人體姿態視覺識別。

2.根據權利要求1所述的移乘搬運護理機器人的人體姿態視覺識別方法，其特征在于，所述最近鄰蟲隨法的過程是，即從腋下輪廓起始點a出發，首先根據最近鄰法則篩選出該點八鄰域內的像素值相似點，即人體前景點，去除背景點，再結合蟲隨法判斷八鄰域內的人體前景點中的邊緣點，以此類推，依次追蹤輪廓點，直到追蹤到腋下輪廓結束點b為止，得到腋下輪廓點序列C＝(c₀,c₁,...,c_i,...,c_m),其中c_i＝(x_i，y_i)，x_i,y_i是第i個輪廓點的像素坐標，m為輪廓點數目，i＝1、2、…、m，c₀＝a,c_m＝b。