[發明專利]基于稀疏編碼的加速魯棒特征雙模態手勢意圖理解方法

有效

• 申請號: 201811158919.8
• 申請日: 2018-09-30
• 公開（公告）號: CN109409246B
• 公開（公告）日: 2020-11-27
• 發明（設計）人: 陳略峰;吳敏;馮雨;蘇婉娟
• 申請（專利權）人: 中國地質大學（武漢）
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06T7/194;G06T7/50
• 代理公司: 武漢知產時代知識產權代理有限公司 42238
• 代理人: 孫妮

本發明提供一種基于稀疏編碼的加速魯棒特征雙模態手勢意圖理解方法，包括以下步驟：S1獲取同步的深度手勢圖像和RGB手勢圖像，分別進行前景圖像提取得到第一前景圖像和第二前景圖像；S2使用SURF算法對第一前景圖像進行特征提取，對提取特征進行稀疏編碼，使用多類線性SVM算法得到每種預設手勢的第一hinge損失函數；S3使用SURF算法對第二前景圖像進行特征提取，對提取特征進行稀疏編碼，使用多類線性SVM算法得到每種預設手勢的第二hinge損失函數；S4使用D?S證據理論方法分別第一hinge損失函數和第二hinge損失函數進行決策融合得到識別結果。本發明的有益效果：實現深度圖像及RGB圖像識別結果的決策級數據融合，有效提高了手勢圖像的識別精度。

技術領域

本發明涉及模式識別技術領域，尤其涉及一種基于稀疏編碼的加速魯棒特征雙模態手勢意圖理解方法。

背景技術

隨著對智能人機交互研究的不斷深入，對人類行為的識別及理解已經引起了計算機視覺和人工智能領域的極大興趣。研究表明，對人類行為的識別和理解是人類高度發展的能力。人工智能研究人員一直致力于使機器人能夠感知，識別和分析人類行為，從而了解人類的意圖和情感。在表達人類活動特征的信號中，肢體語言可以直接表達人類活動的意圖，因此其識別研究備受關注。研究表明，人類獲取的信息中70％來自視覺，20％來自聽覺，視覺信息中除了面部表情，身體姿勢也可以傳遞潛在的意圖及情感信息，早在1872年達爾文就在他關于情感表達的著作《The Expressions of Emotions in Human and Animals》中就提出了人的肢體表達在人的意圖及情感理解中同樣發揮著重要的作用。此后，大量的心理學研究也先后對這一結論進行了深入的研究及驗證。不僅如此，人的肢體行為所表現出的各種姿勢在表達不同情感的同時，還傳遞著這種情感的強度信息，如害怕的程度等。此外，通過對人的肢體動作的分析理解，還能進一步推斷出行為及情感產生的內在意圖。因此，對肢體動作這一表達形式的分析識別，不僅有助于識別人的情感，更有助于實現計算機對情感的理解。總之，對人體手勢行為識別的研究具有廣闊的發展及應用前景。

手勢識別是指從收集人體手勢，提取手勢特征到翻譯成語義意圖的整個過程。手勢信息可以通過RGB相機、深度相機、可穿戴慣性傳感器或其他類型的傳感器獲得，而RGB-D傳感器可以提供同步的彩色和深度圖像，其互補性可以大大提高手勢識別率。研究表明，多種方法的融合是未來手勢識別的發展方向。

發明內容

有鑒于此，本發明的實施例提供了一種基于稀疏編碼的加速魯棒特征雙模態手勢意圖理解方法。

本發明的實施例提供一種基于稀疏編碼的加速魯棒特征雙模態手勢意圖理解方法，包括以下步驟：

S1獲取同步的深度手勢圖像和RGB手勢圖像，所述手勢屬于預設的C種手勢之一，對深度手勢圖像進行前景圖像提取得到第一前景圖像，對RGB手勢圖像進行前景圖像提取得到第二前景圖像；

S2使用SURF算法對第一前景圖像進行特征提取，對提取的特征進行稀疏編碼，并使用多類線性SVM分類算法得到每種預設手勢的第一hinge損失函數；

S3使用SURF算法對第二前景圖像進行特征提取，對提取的特征進行稀疏編碼，并使用多類線性SVM分類算法得到每種預設手勢的第二hinge損失函數；

S4使用D-S證據理論方法分別對每種預設手勢的第一hinge損失函數和第二hinge損失函數進行決策融合得到識別結果。

進一步地，所述深度手勢圖像的深度數據包括用戶索引，檢索所述深度數據的用戶索引分割出所述第一前景圖像。

進一步地，所述RGB手勢圖像的前景圖像提取方法具體為：

S1.1計算出所述RGB手勢圖像的最大灰度值Z_max和最小灰度值Z_min，令初始閾值為