[發(fā)明專利]一種機器人識別人體縫紉動作的方法

有效

• 申請?zhí)枺?/td>: 202011240809.3
• 申請日: 2020-11-09
• 公開（公告）號: CN112257655B
• 公開（公告）日: 2022-05-03
• 發(fā)明（設(shè)計）人: 王曉華;王皞燚
• 申請（專利權(quán)）人: 西安工程大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/774;G06K9/62;G06F3/01
• 代理公司: 西安弘理專利事務(wù)所 61214
• 代理人: 涂秀清

本發(fā)明公開了一種機器人識別人體縫紉動作的方法，該方法包括如下步驟：步驟1，搭建模塊化多機器人縫紉系統(tǒng)，模塊化多機器人縫紉系統(tǒng)包括相互連接的雙手縫紉系統(tǒng)、立體視覺系統(tǒng)、視覺伺服系統(tǒng)；步驟2，采集人體縫紉動作作為機器人學習樣本，生成訓練數(shù)據(jù)；步驟3，使用高斯混合模型編碼，對演示得到的運動基元進行任務(wù)學習；步驟4，建立立體視覺系統(tǒng)，在任務(wù)期間檢測針的運動姿態(tài)；步驟5，建立視覺伺服系統(tǒng)，通過閉環(huán)視覺的反饋指導并調(diào)整機器人的運動。本發(fā)明提高了縫紉手勢識別的準確率，提高了響應(yīng)速度，解決了當前方法動態(tài)實時性差的問題。

技術(shù)領(lǐng)域

本發(fā)明屬于機器人視覺識別技術(shù)領(lǐng)域，涉及一種機器人識別人體縫紉動作的方法。

背景技術(shù)

機器人視覺識別技術(shù)是智能機器人系統(tǒng)中一個關(guān)鍵部分，是指用機器人實現(xiàn)人的視覺功能，即對客觀的三維世界的識別，主要利用顏色、形狀等信息來識別環(huán)境目標。機器人視覺識別技術(shù)已經(jīng)被廣泛運用于機器人智能化系統(tǒng)中，視覺識別系統(tǒng)既要做到圖像的準確采集還要做到對外界變化反應(yīng)的實時性，同時還需要對外界運動的目標進行實時跟蹤，然而，現(xiàn)有的方法對縫紉動作的識別準確度不高，在動態(tài)識別過程中延時性較大，使機器人無法得到良好的學習效果。識別人體縫紉動作的研究可為機器人學習縫紉環(huán)境中的信息、末端執(zhí)行器姿態(tài)規(guī)劃、縫紉過程的軌跡規(guī)劃等提供技術(shù)支持。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種機器人識別人體縫紉動作的方法，解決了現(xiàn)有技術(shù)中存在對縫紉動作的識別準確度不高，在動態(tài)識別過程中延時性較大的問題。

本發(fā)明所采用的技術(shù)方案是，一種機器人識別人體縫紉動作的方法，具體按照以下步驟實施：

步驟1，搭建模塊化多機器人縫紉系統(tǒng)，模塊化多機器人縫紉系統(tǒng)包括相互連接的雙手縫紉系統(tǒng)、立體視覺系統(tǒng)、視覺伺服系統(tǒng)；

步驟2，采集人體縫紉動作作為機器人學習樣本，生成訓練數(shù)據(jù)；

步驟3，使用高斯混合模型編碼，對演示得到的運動基元進行任務(wù)學習；

步驟4，建立立體視覺系統(tǒng)，在任務(wù)期間檢測針的運動姿態(tài)；

步驟5，建立視覺伺服系統(tǒng)，通過閉環(huán)視覺的反饋指導并調(diào)整機器人的運動。

本發(fā)明的特點還在于，

步驟1中立體視覺系統(tǒng)包括兩臺角度不同的攝像機，通過攝像機獲得視覺信息，視覺信息通過視覺伺服系統(tǒng)進行控制反饋給雙手縫紉系統(tǒng)，雙手縫紉系統(tǒng)包括兩個安裝縫紉針驅(qū)動器的機器人，兩個機器人用來模仿人類雙手的縫紉動作。

縫紉針驅(qū)動器的針頭上安裝條形碼標記，用于目標的可視化跟蹤，并記錄縫紉針驅(qū)動器的六自由度姿態(tài)信息。

步驟2由人類演示縫紉手勢動作，立體視覺系統(tǒng)進行記錄采用人體動作示范來采集樣本，通過多次向雙手縫紉系統(tǒng)演示縫紉過程，以生成訓練數(shù)據(jù)。

雙手縫紉系統(tǒng)使用兩個機器人搭建縫紉模型來模仿人類雙手的縫紉動作，跟蹤目標運動并記錄姿態(tài)信息；雙手縫紉系統(tǒng)中一個機器人安裝機動的縫紉針驅(qū)動器，根據(jù)人類演示中學到的動作，將針頭送到縫紉位置并執(zhí)行縫紉，并不斷循環(huán)；另一個機器人安裝芯棒，芯棒一側(cè)固定縫紉針驅(qū)動器，以重新抓取針頭，通過將芯棒放置在所需的姿勢上，確保機器人在局部框架下的同一位置縫紉，控制縫紉位置。

步驟3的具體步驟為：

在對步驟2得到的訓練數(shù)據(jù)進行低通濾波之后，根據(jù)縫紉針驅(qū)動器的打開和關(guān)閉狀態(tài)，以及與縫紉針的連接方式，將每個演示分割成一系列的運動基元，使用高斯混合模型Ω對每個運動基元進行編碼，編碼元素包括時間戳t和六自由度姿態(tài)信息h，給定點t，h屬于Ω的概率計算為該點的加權(quán)概率之和，如下式所示：