[發(fā)明專利]基于人機協(xié)作的機器人感知與理解方法

有效

• 申請?zhí)枺?/td>: 201710429518.0
• 申請日: 2017-06-08
• 公開（公告）號: CN107150347B
• 公開（公告）日: 2021-03-30
• 發(fā)明（設計）人: 杜廣龍;張平;陳明軒
• 申請（專利權）人: 華南理工大學
• 主分類號: B25J11/00
• 分類號: B25J11/00
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 何淑珍

1.基于人機協(xié)作的機器人感知與理解方法，其特征在于，包括如下步驟：

S1、視聽模態(tài)感知的自然交互，包括三維手勢數(shù)據(jù)獲取和自然語言指令獲取；

S2、目標描述和目標理解：通過操作者向機器人講解環(huán)境使得機器人快速地了解環(huán)境，采用深度學習方法進行目標識別；所述步驟S2包括以下步驟：

1)目標描述

在目標描述中，操作者主要是輔助機器人對目標進行識別和理解；定義一個六元組Obj＝{種類,顏色,形狀,紋理,尺寸,柔軟性}對目標進行描述；機器人通過視覺對目標進行初步觀察后對目標有一個大概的理解，包括目標的顏色、形狀和紋理，機器人通過帶有力覺反饋的末端接觸目標，以了解其軟硬程度；在機器人對目標的操作過程中，操作者在線地對機器人進行目標描述和講解，以輔助機器人不斷深入地了解目標，并做正確的決策；當機器人對目標做出模棱兩可或錯誤的決策時，操作者輔助機器人或矯正機器人的錯誤決策；

2)目標理解

采取一個兩階段的方法來進行學習，首先，使用一個縮減的特征集來確定最佳候選集，然后，使用一個更大、更可靠的特征集來排列這些候選集；利用深度學習訓練兩個不同大小的網(wǎng)絡，小的用于計算候選集，大的用于重新排列候選檢測結果，從而避免復雜的手動調(diào)整特征值；

機器人視覺系統(tǒng)是用于獲取外界視覺信息的工具，是通過計算機技術對類似于人類視覺信息處理的一種探索和模擬，機器視覺主要包括圖像獲取、預處理、分割、描述、識別和理解，其中理解是對環(huán)境的最高層次的認知行為，識別出當前目標物體的標記，與特征庫或模板相匹配，對目標分類，為機器人的決策、行為控制以及人機交互提供依據(jù)；在圖像描述方面，采用HOG特征描述符對圖像中的特征進行描述，HOG算法首先將整幅圖像分成設定數(shù)量的子圖像,再將各個子圖像按照設定的規(guī)則分割成細胞單元,然后采集細胞單元中各像素點的梯度方向直方圖,計算各直方圖在子圖像中的密度,然后根據(jù)這個密度對子圖像中的各個細胞單元做歸一化處理；最后把這些直方圖組合起來構成特征描述器；為了識別出目標的類型，對HOG特征進行概率G^(t)建模，特征值N維向量x是目標類型，利用一個隨機變量表示預測概率G^(t)的大小；使用一個有兩層S型隱藏單元h^[1]和h^[2]的深層網(wǎng)絡，其中每一層分別有K₁和K₂單元，第一層隱藏單元的輸出是第二層隱藏單元的輸入，第二層隱藏單元輸出的邏輯分類器預測其中x^(t)為第t個樣本，Θ為參數(shù)空間；兩層隱藏單元有一系列由它的輸入到輸出的映射權值W^[1]和W^[2]；通過深度學習更準確地對目標進行分類識別，從而達到在大量數(shù)據(jù)的支撐下進行快速地學習的效果；

在人機協(xié)作模式中，機器人借助于人類的經(jīng)驗知識對未知的物體進行識別，或者從識別錯誤中得到矯正，需要建立一個帶標簽數(shù)據(jù)的訓練模型，以更新機器人的學習網(wǎng)絡參數(shù)；在人類的協(xié)作下，一方面機器人通過人類的描述更好地了解未知物體的特征；另一方面，機器人通過人類的共享經(jīng)驗正確地認識物體；在學習過程中，目標是求出使識別精度最佳的參數(shù)Θ；將人類輔助過程中產(chǎn)生的輸入數(shù)據(jù)作為一組特征值x及標簽數(shù)據(jù)t＝1,…,M，t為樣本序號，M為樣本總數(shù)；在最深層的學習工作中將使用兩階段學習方法；在第一階段中，使用無監(jiān)督特征學習方法來初始化隱藏層的權值W^[1]和W^[2]，在訓練前加權是避免過度擬合的關鍵；

S3、任務示教和學習：在任務示教過程中，通過人機交互模塊，機器人能通過操作者的手勢和語言感知操作者的意圖；在機器人作業(yè)過程中，操作者可以始終保持在線教導機器人，以不斷地修正機器人的決策。