[發明專利]一種基于手勢控制的新型學習方法

在審

• 申請號: 201811070443.2
• 申請日: 2018-09-13
• 公開（公告）號: CN109375766A
• 公開（公告）日: 2019-02-22
• 發明（設計）人: 何艷玲;王旭;黃凱;宋日輝;周馭讓;趙惠;張藝斕;林鎮坤
• 申請（專利權）人: 何艷玲
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06Q50/26
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 陳偉斌

本發明涉及視頻流處理技術及圖像處理的技術領域，更具體地，涉及一種基于手勢控制的新型學習方法。該方法包括：步驟1：通過攝像頭捕捉包含學習者在內的視頻；步驟2：通過對視頻流的圖片進行逐幀的手部識別，得到手部的實時位置；步驟3：分析視頻流中連續多幀圖片的數據，識別手部運動，實現手勢識別；步驟4：使用識別得到的手勢，控制終端。本發明將手勢控制交互技術引入學習系統，讓學員能夠更加快捷、方便、高效的操作學習系統，提高學員的學習效率。

技術領域

本發明涉及視頻流處理技術及圖像處理的技術領域，更具體地，涉及一種基于手勢控制的新型學習方法。

背景技術

學習系統建設是學習的重要任務和重要工作。學習系統一般包含以下幾個模塊：資訊門戶板塊(學習信息的載體，用于傳播關于民情的有關資訊)、組織生活板塊(讓廣大學員用戶能夠通過多種方式來參與組織生活，真正實現組織生活“無處不在”)、簽到板塊(用于考察學員的學習情況)、交流討論板塊(提供學員、群眾之間的交流互動的場所)。

學習系統內部的功能豐富、用戶需求眾多，從而引發了高頻且復雜的交互需求。傳統學習的模式是“一張報，一支筆，一張嘴”，該模式不僅耗時耗力，交互模式單一，還往往容易導致學員無法及時獲取最新資訊和學習內容，上級無法有效掌握學員的學習情況，以及學員的學習互動性、深入性不佳等問題。隨著互聯網大潮的到來，學習工作更多被搬到了計算機等其他終端設備上，目前已有研究人員嘗試采用智能設備、交互技術，大數據等形式改善學習系統，增強學員在使用學習系統過程中的互動性，提高學習和使用效率。

近年來，隨著圖像識別、視頻流技術的不斷成熟，越來越多的手勢控制和手勢識別技術被運用在了多媒體交互系統上。用戶通過手勢對交互系統進行控制或者信息輸入，一來降低了交互過程中復雜的視覺顯示成本，大大提升多媒體信息顯示的容納空間，二來用戶不僅在控制系統方面提升了效率，而且在系統交互綜合技術的作用下，往往能夠更加深入的吸收和學習，其中，視頻流、圖像識別技術起到了關鍵的作用。

視頻流技術(Video Streaming Technologies)是一種數據傳輸技術，視頻數據經過編碼，壓縮后通過網絡進行傳輸。主流的視頻、音頻數據傳輸的協議是 RTP協議。

手勢識別是一種基于圖像識別的人體行為識別技術，交互設備通過RGB攝像頭、紅外攝像頭等攝像設備獲取視頻圖像信息，并將數據傳輸至計算機。計算機通過一些圖像預處理技術(例如圖像去噪、平滑、變換)，加強圖像的重要特征，而后通過監督分類算法對圖像進行分類，從而達成識別和定位人體信息。在獲取人體位置的基礎上，

通過視頻流和手勢識別處理技術，基于學習學習場景的用戶，可以在學習與控制系統的過程中使用手勢進行人機交互，從而極大的提升信息交流和效率并增強學習的積極性和互動性。

現有技術的缺陷是，沒有視頻流和手勢識別處理技術，僅能通過語音進行人機交互，信息交流的效率較低，學習的積極性和互動性也較低。

沒有事先對人像進行識別，因此攝像頭捕捉到的所有手勢都會被納入機器的分析范圍，一方面造成分析困難，降低了學習系統的使用效率，另一方面也無法排除使用者作弊的可能，旁人可以輕易的幫助使用者通過學習系統的考試等。

沒有結合人眼定位，使得機器實際操作過程中，無法像現實中一樣眼到即可，還需要手到，非常不便。同時，僅僅是手部動作不需要學習系統使用者全神貫注，使用者非常容易走神，在觀看或使用學習系統時，很可能只是動作到位，而眼神和腦子沒有到位。

通常是手勢輪廓轉變為機器中的邏輯坐標，而這要求使用者手勢動作幅度必須與實際相符，比如面對著較大、較高的機器，使用者若要點擊右上角的東西，就得將手實際伸到右上角，對部分身高低于平均水平的使用者而言，非常吃力，這樣的用戶交互即使是正常人也不會覺得友好。