[發明專利]一種機器人識別人體縫紉動作的方法

有效

• 申請號: 202011240809.3
• 申請日: 2020-11-09
• 公開（公告）號: CN112257655B
• 公開（公告）日: 2022-05-03
• 發明（設計）人: 王曉華;王皞燚
• 申請（專利權）人: 西安工程大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/774;G06K9/62;G06F3/01
• 代理公司: 西安弘理專利事務所 61214
• 代理人: 涂秀清

1.一種機器人識別人體縫紉動作的方法，其特征在于，具體按照以下步驟實施：

步驟1，搭建模塊化多機器人縫紉系統，模塊化多機器人縫紉系統包括相互連接的雙手縫紉系統、立體視覺系統、視覺伺服系統；

步驟1中立體視覺系統包括兩臺角度不同的攝像機，通過攝像機獲得視覺信息，視覺信息通過視覺伺服系統進行控制反饋給雙手縫紉系統，雙手縫紉系統包括兩個安裝縫紉針驅動器的機器人，兩個機器人用來模仿人類雙手的縫紉動作；

步驟2，采集人體縫紉動作作為機器人學習樣本，生成訓練數據；

步驟3，使用高斯混合模型編碼，對演示得到的運動基元進行任務學習；所述步驟3的具體步驟為：

在對步驟2得到的訓練數據進行低通濾波之后，根據縫紉針驅動器的打開和關閉狀態，以及與縫紉針的連接方式，將每個演示分割成一系列的運動基元，使用高斯混合模型Ω對每個運動基元進行編碼，編碼元素包括時間戳t和六自由度姿態信息h，給定點t，h屬于Ω的概率計算為該點的加權概率之和，如下式所示：

其中，k表示第k個高斯分量；π_k和p_k是高斯分量Ω_k的條件概率密度，均值μ_k和協方差∑_k定義為：

μ_t,k、μ_h,k分別表示第k個高斯分量時間t和姿態h對應的均值；∑_tt,k、∑_th,k分別表示均值為μ_t,k時，查詢條件為時間t和姿態h對應的方差；∑_hh,k、∑_ht,k分別表示均值為μ_h,k時，查詢條件為姿態h和時間t對應的方差；

為了確定高斯分量的數量，使用了五倍交叉驗證，查詢姿態在每個時間步長的均值和協方差運用高斯混合模型檢索每個運動基元的參考軌跡，如下式所示：

其中：

為時間步長，為運動基元姿態軌跡對應的均值；表示時間步長為時，運動基元姿態軌跡對應的協方差；參數K表示高斯分量總個數；表示第k個高斯分量的混合權重；為時間步長為時，第k個高斯分量姿態h對應的均值；表示時間步長為均值為時，第k個高斯分量查詢條件為姿態h對應的方差；

根據每個運動基元中不同演繹間的差異，改變任務在不同任務上下文中復制任務的速度，進一步優化系統所學的參考軌跡，得到縫紉的目標軌跡；

步驟4，建立立體視覺系統，在任務期間檢測針的運動姿態；

所述步驟4采用兩臺攝像機構成的立體視覺系統來跟蹤并監測針的姿態，避免因偏差積累造成的縫紉失敗，得到縫紉的實際軌跡；

所述建立立體視覺系統的具體步驟為：

步驟4.1，使用針檢測算法在每個立體圖像中檢測到縫紉針，得到特征圖像；

步驟4.2，增強特征圖像中的曲線結構；

步驟4.3，將預期中縫紉針的理想姿態模型的三維點投影在圖像平面上；

步驟4.4，檢測小的直段，對比針真實姿態與理想姿態的不同，當接近投影針并具有相似取向的節段，被認為是縫紉針一部分；

步驟4.5，將這些片段組合起來，以創建一條連續的曲線，表示圖像中檢測到的縫紉針；

步驟5，建立視覺伺服系統，通過閉環視覺的反饋指導并調整機器人的運動。

2.根據權利要求1所述的一種機器人識別人體縫紉動作的方法，其特征在于，所述縫紉針驅動器的針頭上安裝條形碼標記，用于目標的可視化跟蹤，并記錄縫紉針驅動器的六自由度姿態信息。

3.根據權利要求1所述的一種機器人識別人體縫紉動作的方法，其特征在于，所述步驟2由人類演示縫紉手勢動作，立體視覺系統進行記錄采用人體動作示范來采集樣本，通過多次向雙手縫紉系統演示縫紉過程，以生成訓練數據。