[發(fā)明專(zhuān)利]一種工業(yè)機(jī)器人三維姿態(tài)估計(jì)方法、裝置及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010231968.0
• 申請(qǐng)日: 2020-03-27
• 公開(kāi)（公告）號(hào): CN111445519A
• 公開(kāi)（公告）日: 2020-07-24
• 發(fā)明（設(shè)計(jì)）人: 陳燈;魏巍;張彥鐸;吳云韜;周華兵;劉瑋;段功豪;于寶成;盧濤;鞠劍平;唐劍影;徐文霞;彭麗;彭煜祺;羅徐;王逸文
• 申請(qǐng)（專(zhuān)利權(quán)）人: 武漢工程大學(xué)
• 主分類(lèi)號(hào): G06T7/70
• 分類(lèi)號(hào): G06T7/70
• 代理公司: 北京輕創(chuàng)知識(shí)產(chǎn)權(quán)代理有限公司 11212
• 代理人: 尉保芳

本發(fā)明提供一種工業(yè)機(jī)器人三維姿態(tài)估計(jì)方法、裝置及存儲(chǔ)介質(zhì)，方法包括：通過(guò)預(yù)設(shè)的視覺(jué)傳感器得到工業(yè)機(jī)器人的二維圖像；對(duì)二維圖像進(jìn)行二維姿態(tài)估計(jì)處理，得到二維姿態(tài)矩陣；通過(guò)預(yù)設(shè)的測(cè)距傳感器得到工業(yè)機(jī)器人深度信息；根據(jù)所述工業(yè)機(jī)器人深度信息對(duì)所述二維姿態(tài)矩陣進(jìn)行世界坐標(biāo)系轉(zhuǎn)換，得到工業(yè)機(jī)器人三維姿態(tài)矩陣，將所述工業(yè)機(jī)器人三維姿態(tài)矩陣作為工業(yè)機(jī)器人三維姿態(tài)信息。本發(fā)明可實(shí)時(shí)估計(jì)并輸出工業(yè)機(jī)器人三維姿態(tài)，為基于工業(yè)機(jī)器人姿態(tài)的相關(guān)應(yīng)用提供了有效的技術(shù)手段，為工業(yè)機(jī)器人誤動(dòng)作檢測(cè)和保障工業(yè)機(jī)器人安全奠定了技術(shù)基礎(chǔ)，相較于二維姿態(tài)的估計(jì)結(jié)果，本發(fā)明更加準(zhǔn)確，在工業(yè)機(jī)器人誤動(dòng)作檢測(cè)等應(yīng)用中可減少誤報(bào)率。

技術(shù)領(lǐng)域

本發(fā)明主要涉及機(jī)器人智能技術(shù)領(lǐng)域，具體涉及一種工業(yè)機(jī)器人三維姿態(tài)估計(jì)方法、裝置及存儲(chǔ)介質(zhì)。

背景技術(shù)

工業(yè)機(jī)器人是集自動(dòng)化，機(jī)械，嵌入式，液壓，電氣等硬件及其控制軟件在內(nèi)組成的復(fù)雜系統(tǒng)，其可以代替工人從事一些危險(xiǎn)和復(fù)雜的重復(fù)性勞動(dòng)；由于工業(yè)機(jī)器人精度高且無(wú)需休息，其已經(jīng)廣泛應(yīng)用于制造業(yè)；然而，隨著工業(yè)機(jī)器人的大量應(yīng)用，工業(yè)機(jī)器人傷人事件時(shí)有發(fā)生，導(dǎo)致工業(yè)機(jī)器人安全事故的主要原因有人為因素和機(jī)器人自身故障，其中機(jī)器人自身誤動(dòng)作導(dǎo)致的安全事故占據(jù)了一半以上的比例。人為因素可以通過(guò)加強(qiáng)管理和培訓(xùn)進(jìn)行控制，而機(jī)器人自身誤動(dòng)作導(dǎo)致的安全問(wèn)題需要通過(guò)技術(shù)手段進(jìn)行解決；由于信號(hào)干擾，器件老化，金屬疲勞等各種原因，機(jī)器人誤動(dòng)作在機(jī)器人作業(yè)過(guò)程中大量存在，機(jī)器人誤動(dòng)作輕則造成機(jī)器人運(yùn)動(dòng)失調(diào)，導(dǎo)致擠壓、碰撞事故，重則威脅到附近人員的生命安全；特別是在人機(jī)協(xié)作場(chǎng)景下，機(jī)器人安全問(wèn)題至關(guān)重要。

工業(yè)機(jī)器人姿態(tài)估計(jì)是檢測(cè)工業(yè)機(jī)器人異常姿態(tài)和誤動(dòng)作的基礎(chǔ)。目前，人體姿態(tài)估計(jì)已經(jīng)較為成熟，出現(xiàn)了OpenPose人體姿態(tài)估計(jì)深度神經(jīng)網(wǎng)絡(luò)模型，可有效識(shí)別人體二維姿態(tài)；Kinect等傳感器結(jié)合RGB相機(jī)和激光測(cè)距可識(shí)別人體三維姿態(tài)；然而，對(duì)于工業(yè)機(jī)器人的三維姿態(tài)估計(jì)缺乏有效的方法和傳感器；現(xiàn)有人體姿態(tài)估計(jì)方法無(wú)法應(yīng)用于工業(yè)機(jī)器人的三維姿態(tài)估計(jì)，為了檢測(cè)工業(yè)機(jī)器人異常動(dòng)作，保障工業(yè)機(jī)器人作業(yè)安全，急需對(duì)工業(yè)機(jī)器人三維姿態(tài)估計(jì)開(kāi)展研究并研制相關(guān)傳感器。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問(wèn)題是針對(duì)現(xiàn)有技術(shù)的不足，提供一種工業(yè)機(jī)器人三維姿態(tài)估計(jì)方法、裝置及存儲(chǔ)介質(zhì)。

本發(fā)明解決上述技術(shù)問(wèn)題的技術(shù)方案如下：一種工業(yè)機(jī)器人三維姿態(tài)估計(jì)方法，包括如下步驟：

通過(guò)預(yù)設(shè)的視覺(jué)傳感器得到工業(yè)機(jī)器人的二維圖像；

對(duì)所述二維圖像進(jìn)行二維姿態(tài)估計(jì)處理，得到二維姿態(tài)矩陣；

通過(guò)預(yù)設(shè)的測(cè)距傳感器得到工業(yè)機(jī)器人深度信息；

根據(jù)所述工業(yè)機(jī)器人深度信息對(duì)所述二維姿態(tài)矩陣進(jìn)行世界坐標(biāo)系轉(zhuǎn)換，得到工業(yè)機(jī)器人三維姿態(tài)矩陣，將所述工業(yè)機(jī)器人三維姿態(tài)矩陣作為工業(yè)機(jī)器人三維姿態(tài)信息。

本發(fā)明解決上述技術(shù)問(wèn)題的另一技術(shù)方案如下：一種工業(yè)機(jī)器人三維姿態(tài)估計(jì)裝置，包括：

二維圖像獲得模塊，用于通過(guò)預(yù)設(shè)的視覺(jué)傳感器得到工業(yè)機(jī)器人的二維圖像；

二維圖像姿態(tài)估計(jì)模塊，用于對(duì)所述二維圖像進(jìn)行二維姿態(tài)估計(jì)處理，得到二維姿態(tài)矩陣；

深度信息獲得模塊：用于通過(guò)預(yù)設(shè)的測(cè)距傳感器得到工業(yè)機(jī)器人深度信息；

三維姿態(tài)獲得模塊，用于根據(jù)所述工業(yè)機(jī)器人深度信息對(duì)所述二維姿態(tài)矩陣進(jìn)行世界坐標(biāo)系轉(zhuǎn)換，得到工業(yè)機(jī)器人三維姿態(tài)矩陣，將所述工業(yè)機(jī)器人三維姿態(tài)矩陣作為工業(yè)機(jī)器人三維姿態(tài)信息。

本發(fā)明解決上述技術(shù)問(wèn)題的另一技術(shù)方案如下：一種工業(yè)機(jī)器人三維姿態(tài)估計(jì)裝置，包括存儲(chǔ)器、處理器以及存儲(chǔ)在所述存儲(chǔ)器中并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，當(dāng)所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)，實(shí)現(xiàn)如上所述的工業(yè)機(jī)器人三維姿態(tài)估計(jì)方法。