[發明專利]一種基于多視角信息融合的機器人三維形狀識別方法

有效

• 申請號: 201710167617.6
• 申請日: 2017-03-21
• 公開（公告）號: CN106951923B
• 公開（公告）日: 2020-06-16
• 發明（設計）人: 布樹輝;王磊;劉貞報
• 申請（專利權）人: 西北工業大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/08
• 代理公司: 西北工業大學專利中心 61204
• 代理人: 陳星

1.一種基于多視角信息融合的機器人三維形狀識別方法，其特征在于：包括以下步驟：

步驟1：機器人通過視覺信息采集設備，得到不同三維形狀的多視角信息，每個三維形狀的多視角信息包括n幅不同視角的二維灰度圖像；

步驟2：對每個三維形狀的n幅不同視角的二維灰度圖像采用以下過程進行相似性排序：

任意指定n幅不同視角的二維灰度圖像中的一幅灰度圖像作為圖像1，以灰度圖像的像素作為計算單元，利用相似性方程得到圖像1相對除圖像1外所有灰度圖像的相似度，得到相似度最高的灰度圖像作為圖像2；再利用相似性方程得到圖像2相對除圖像1和圖像2外所有灰度圖像的相似度，得到相似度最高的灰度圖像作為圖像3，以此類推，得到從圖像1到圖像n組成的相似性序列灰度圖像組；

步驟3：建立卷積神經網絡模型并利用每個三維形狀的n幅不同視角的二維灰度圖像進行階層式深度學習；將每個三維形狀的相似性序列灰度圖像組中的n幅圖像輸入學習好的卷積神經網絡模型，得到每幅圖像的抽象特征，組成對應該三維形狀的視覺特征組；

步驟4：建立長短期記憶網絡模型并利用每個三維形狀的視覺特征組進行時空序列深度學習；將每個三維形狀的視覺特征組輸入學習好的長短期記憶網絡模型，得到每個三維形狀的三維形狀特征；

步驟5：機器人通過視覺信息采集設備得到待識別三維形狀的多視角信息；對待識別三維形狀的多視角信息進行相似性排序，得到待識別三維形狀的相似性序列灰度圖像組；將待識別三維形狀的相似性序列灰度圖像組中的圖像分別輸入學習好的卷積神經網絡模型，得到每幅圖像的抽象特征，組成對應待識別三維形狀的視覺特征組；將待識別三維形狀的視覺特征組輸入學習好的長短期記憶網絡模型，得到待識別三維形狀的三維形狀特征，并依據待識別三維形狀的三維形狀特征進行識別。

2.根據權利要求1所述一種基于多視角信息融合的機器人三維形狀識別方法，其特征在于：

步驟2中相似性方程為

其中S_ij為第i張圖像和第j張圖像的相似度，F_i為第i張圖像的向量表示，F_j為第j張圖像的向量表示；第i張圖像向量F_i是第i張圖像按照行展開生成的一列向量。

3.根據權利要求1或2所述一種基于多視角信息融合的機器人三維形狀識別方法，其特征在于：

步驟3中卷積神經網絡模型由卷積層、抽樣層、全連接層、dropout層、softmax層組成；其中卷積層和抽樣層各有m層，且卷積層和抽樣層交替出現；卷積層為網絡的特征提取層，每個卷積層包含多個神經元，每個神經元只對前一層網絡相應的局部位置進行特征提取，且神經元對同一層所有區域的感知權值相等；抽樣層為網絡的特征映射層，每個卷積層包含多個神經元，卷積層由多個特征映射組成，每個特征映射為一個平面，平面上所有的神經元權值相等。