[發明專利]一種移動可穿戴非接觸式交互系統與方法

在審

• 申請號: 201410712639.2
• 申請日: 2014-11-29
• 公開（公告）號: CN104410883A
• 公開（公告）日: 2015-03-11
• 發明（設計）人: 徐向民;許望
• 申請（專利權）人: 華南理工大學
• 主分類號: H04N21/41
• 分類號: H04N21/41;H04N21/422;H04N21/4223;G06F3/01
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 何淑珍

技術領域

本發明屬于計算機視覺與人機交互技術領域，具體涉及一種移動可穿戴非接觸式交互系統與方法。

背景技術

隨著科學技術的發展，人們的生活越來越便利，家電的功能越來越強大，提供多種個性化服務；目前對家電的控制主要依賴于鍵盤和鍵盤按鈕，隨著越來越多的功能；繁瑣的用戶學習機制使得交互更加困難。為了使人與計算機的交流更加自然，使人與計算機的交流變得像人與人交流一樣自然，應該充分調用人本身的各個感覺信息通道，如語音、手勢、肢體動作等。

目前智能電視已經極為普及，與此同時智能電視控制技術也已經如火如荼，現有技術中，與智能電視的人機交互方案主要是通過智能電視機體上的固定攝像頭和麥克風，而用戶在觀看電視時與電視往往有一定的距離，因此，該方案不僅缺乏可移動性而且存在資源浪費的弊端。

同時，智能電視的高清視頻資源來自于電視機頂盒，隨著用戶需求的不斷提升，機頂盒的功能越來越豐富，傳統的遙控方案存在按鍵多操作復雜等影響用戶交互的弊端，用戶也越來越不滿足于這一傳統的交互方式。

因此，對于智能電視等智能家電，需要有一種能為用戶提供個性化，更能貼近自然習慣的人機交互方式。

發明內容

為了克服現有技術存在的上述不足，本發提出一種移動可穿戴非接觸式交互系統與方法，以增加用戶體驗。

本發明至少通過如下技術方案之一實現。

一種移動可穿戴非接觸式交互系統，該系統包括圖像采集模塊、手勢識別模塊、嵌入式微控制器模塊、語音采集模塊、語音采集模塊和骨傳聲模塊，其中，

圖像采集模塊，捕獲用戶在操作移動可穿戴非接觸式交互系統即本系統時做出的肢體動作信息，并將所述肢體動作信息發送到手勢識別模塊；

手勢識別模塊將上述肢體動作信息轉化成動態圖像序列，并對圖像進行預處理，全屏搜索和識別用戶手勢，同時對手勢進行膚色自適應跟蹤，并將跟蹤結果發送到嵌入式微處理器模塊；

嵌入式微處理器模塊將上述手勢跟蹤結果準確反映出手勢位置并映射為控制指令，并通過網絡實時將本系統的操作界面與上述手勢位置和控制指令發送到功能終端；

語音采集模塊用于實時捕獲用戶的語音輸入信息，并將所述語音輸入信息發送到語音處理模塊；

語音處理模塊對上述語音輸入信息進行降噪處理，通過關鍵字識別出固定的控制指令語句，并將上述控制指令語句發送到嵌入式微處理器模塊；

嵌入式微處理器模塊進一步根據上述控制指令語音轉化為相應的控制指令，并通過網絡實時將上述控制指令發送到功能終端；

嵌入式微處理器模塊還進一步根據用戶和本系統的交互結果，將需向用戶傳達的語音提示信息發送到骨傳聲模塊；

骨傳聲模塊根據上述語音提示信息向用戶播放相應的語音。

進一步的，所述嵌入式微處理器模塊為移動終端或者計算機，尤其是一種基于可穿戴的移動終端或者計算機。

進一步的，功能終端包括USB控制器、電視機頂盒和電視機顯示器，其中：

USB控制器包含WiFi發射接收模塊和STM32主控制器，WiFi發射接收模塊用于發射WiFi無線信號，與嵌入式微處理器模塊建立連接，并將從嵌入式微處理器模塊接收到的手勢位置與控制指令信息發送到STM32主控制器；

所述STM32主控制器用于將上述手勢位置與控制指令信息轉化為相應的鼠標光標移動信息，然后再通過USB接口將所述光標移動信息發送至電視機頂盒；

電視機頂盒用于接收上述光標移動信息，并將上述上述信息發送到電視機顯示器；

電視機顯示器用于顯示本系統的操作界面，并接收上述光標移動信息，并將光標顯示出來。

進一步的，所述圖像采集模塊、手勢識別模塊、嵌入式微控制器模塊、語音采集模塊、語音處理模塊、骨傳聲模塊在物理上集成為用戶可頭戴設備或便攜式可穿戴整體。

進一步的，所述圖像采集模塊為便攜式可穿戴設備，固定于用戶頭部可捕獲用戶動作位置處。

進一步的，嵌入式微處理器模塊根據用戶手勢位置和形態信息，確定對應于該用戶手勢位置和形態信息的交互操作命令，并實時發送至USB控制器；

所述USB控制器實時接收用戶手勢位置和形態信息，并實時向電視機顯示器輸出對應于用戶手的指針元素的圖像信號，從而使電視機顯示器界面上的指針元素的運動軌跡與用戶手運動軌跡保持同步。

一種移動可穿戴非接觸式交互方法，其包括：

S1：圖像采集模塊捕獲用戶操作該系統時的肢體動作信息，肢體動作信息包括手勢信息；