[發(fā)明專利]一種基于三維骨架檢測(cè)的人機(jī)安全協(xié)作方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201810536638.5
• 申請(qǐng)日: 2018-05-30
• 公開(kāi)（公告）號(hào): CN108846891B
• 公開(kāi)（公告）日: 2023-04-28
• 發(fā)明（設(shè)計(jì)）人: 何峰;雷歡;丁鵬程;馬敬奇;鐘震宇;吳寶健;周廣兵;王楠;盧杏堅(jiān);楊慧莉
• 申請(qǐng)（專利權(quán)）人: 廣東省智能制造研究所
• 主分類號(hào): G06T17/00
• 分類號(hào): G06T17/00;G06T19/00
• 代理公司: 廣州粵高專利商標(biāo)代理有限公司 44102
• 代理人: 羅曉林;楊桂洋

1.一種基于三維骨架檢測(cè)的人機(jī)安全協(xié)作方法，包括以下步驟：

通過(guò)雙目攝像頭實(shí)時(shí)采集左右不同視角下操作者與機(jī)器協(xié)作的左圖像和右圖像，并進(jìn)行圖像預(yù)處理；

對(duì)左圖像和右圖像進(jìn)行立體匹配，得到場(chǎng)景重構(gòu)后的三維幾何信息；

對(duì)左圖像和右圖像進(jìn)行人體骨架檢測(cè)，得到左圖像和右圖像中的人體骨架特征，并對(duì)左圖像和右圖像目標(biāo)進(jìn)行一致性檢驗(yàn)；

將檢驗(yàn)后的人體骨架特征的圖像與立體匹配后的場(chǎng)景的三維幾何信息進(jìn)行坐標(biāo)映射，形成人體三維骨架，得到人體骨架三維坐標(biāo)；

對(duì)人體三維骨架進(jìn)行OBB包圍盒處理，形成三維骨架包圍盒模型；

建立機(jī)器與人體三維骨架包圍盒模型在世界坐標(biāo)系下的坐標(biāo)系轉(zhuǎn)換關(guān)系，獲取世界坐標(biāo)系下機(jī)器末端與三維骨架包圍盒模型的相對(duì)位姿關(guān)系，計(jì)算人機(jī)碰撞檢測(cè)的安全閾值；

實(shí)時(shí)計(jì)算人體三維骨架包圍盒模型與機(jī)器末端之間的歐式距離，判斷該歐式距離與安全閾值之間的大小關(guān)系，若該歐式距離大于等于安全閾值，則人機(jī)協(xié)作行為處于安全狀態(tài)，若該歐式距離小于安全閾值，則人機(jī)協(xié)作行為處于危險(xiǎn)狀態(tài)；

所述立體匹配具體為：

對(duì)左圖像和右圖像利用Quick?Shift算法進(jìn)行預(yù)處理，然后結(jié)合SGM算法進(jìn)行立體匹配，得到場(chǎng)景重構(gòu)后的三維幾何信息；

所述利用Quick?Shift算法對(duì)圖像進(jìn)行預(yù)處理具體為：根據(jù)像素點(diǎn)的五維特征向量(r,g,b,x,y)和空間相似度進(jìn)行圖像分割，將左圖像和右圖像分割成若干分割塊，五維特征向量(r,g,b,x,y)是指圖像像素點(diǎn)坐標(biāo)x、y與色彩三通道參數(shù)r、g、b。

2.根據(jù)權(quán)利要求1所述的基于三維骨架檢測(cè)的人機(jī)安全協(xié)作方法，其特征在于，所述左圖像和右圖像目標(biāo)進(jìn)行一致性檢驗(yàn)具體為：

對(duì)左圖像和右圖像分別進(jìn)行人體骨架檢測(cè)，并進(jìn)行二維的人體關(guān)節(jié)檢測(cè)定位，得到人體骨架關(guān)節(jié)的二維坐標(biāo)，獲取左人體二維骨架特征圖像檢測(cè)數(shù)據(jù)和右人體二維骨架特征圖像檢測(cè)數(shù)據(jù)；

再將左人體二維骨架特征圖像檢測(cè)數(shù)據(jù)和右人體二維骨架特征圖像檢測(cè)數(shù)據(jù)進(jìn)行像素坐標(biāo)換算和檢驗(yàn)，驗(yàn)證左圖像和右圖像目標(biāo)的一致性和準(zhǔn)確性；

所述得到人體骨架三維坐標(biāo)具體為：

利用坐標(biāo)映射與變換原理，將目標(biāo)一致性檢驗(yàn)中得到的人體二維骨架特征圖像與立體匹配中得到的場(chǎng)景重構(gòu)后的三維幾何信息進(jìn)行坐標(biāo)映射，實(shí)現(xiàn)對(duì)人體骨架關(guān)節(jié)的三維空間定位，從而得到人體骨架三維坐標(biāo)。

3.根據(jù)權(quán)利要求2所述的基于三維骨架檢測(cè)的人機(jī)安全協(xié)作方法，其特征在于，所述人體三維骨架進(jìn)行OBB包圍盒處理具體為對(duì)三維人體骨架進(jìn)行表面凸分解，形成包圍人體骨骼關(guān)節(jié)的最小空間凸塊OBB包圍盒；

所述實(shí)時(shí)計(jì)算人體三維骨架包圍盒模型與機(jī)器末端之間的歐式距離過(guò)程中：

通過(guò)機(jī)器運(yùn)動(dòng)軌跡與人體三維骨架包圍盒的交集求解，將機(jī)器運(yùn)動(dòng)軌跡與人體三維骨架包圍盒模型進(jìn)行坐標(biāo)映射，然后根據(jù)如下歐式三維空間公式計(jì)算兩者的距離；

三維空間公式：

其中(x₁，y₁，z₁)，(x₂，y₂，z₂)為空間坐標(biāo)系任意兩點(diǎn)，ρ為這兩點(diǎn)之間的歐式三維空間距離。