[發明專利]演示環境下基于計算機視覺的人機交互系統及交互方法

有效

• 申請號: 201310212362.2
• 申請日: 2013-05-31
• 公開（公告）號: CN103268153A
• 公開（公告）日: 2013-08-28
• 發明（設計）人: 李夢天;龐明;孟成林;姜承祥;路通
• 申請（專利權）人: 南京大學
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 江蘇圣典律師事務所 32237
• 代理人: 程化銘

1.一種演示環境下基于計算機視覺的人機交互系統，其特征在于，該人機交互系統包括演示屏幕、計算機、視覺傳感器和人體，人體和演示屏幕位于視覺傳感器的視野范圍內；人體位于演示屏幕前方；人體背部或者人體側部與演示屏幕相對；計算機中包含手勢識別模塊和效果顯示模塊；

手勢識別模塊用于控制計算機與視覺傳感器的連接和斷開，從視覺傳感器獲得數據，并對接收的數據進行分析，產生相應的手勢控制指令，將手勢控制指令傳遞給與效果顯示模塊；

效果顯示模塊用于建立和繪制圖形界面，讀入或繪制用戶進行演示的內容，提供用戶選擇的手勢指令集合，接受手勢識別模塊發送的手勢控制指令，并顯示手勢控制指令對應的演示內容；

計算機中的效果顯示模塊將演示內容繪制在展示給觀眾觀看的演示屏幕上，視覺傳感器捕獲位于視覺傳感器的視野范圍內的信息作為視覺信息，視覺傳感器將視覺信息傳給計算機的手勢識別模塊，手勢識別模塊接受并分析該視覺信息，然后生成與該視覺信息相應的手勢控制指令，手勢識別模塊將該手勢控制指令傳遞給效果顯示模塊，效果顯示模塊根據接收到的手勢控制指令，切換演示屏幕上的演示內容。

2.按照權利要求1所述的演示環境下基于計算機視覺的人機交互系統，其特征在于，還包括投影儀，所述的演示屏幕是投影幕布，計算機的效果顯示模塊的信號輸出端與投影儀的信號輸入端連接，投影儀的信號輸出端與投影幕布相對。

3.按照權利要求1所述的演示環境下基于計算機視覺的人機交互系統，其特征在于，所述的演示屏幕是顯示屏，該顯示屏的信號輸入端與計算機的效果顯示模塊的信號輸出端連接。

4.按照權利要求1所述的演示環境下基于計算機視覺的人機交互系統，其特征在于，所述的效果顯示模塊還用于接受通過計算機輔件輸入的控制指令，并顯示該控制指令對應的演示內容。

5.按照權利要求4所述的演示環境下基于計算機視覺的人機交互系統，其特征在于，所述的計算機輔件包括鍵盤、鼠標、指點桿、觸摸板和遙控器中的一種或任意組合。

6.按照權利要求1所述的演示環境下基于計算機視覺的人機交互系統，其特征在于，所述的視覺傳感器是帶深度數據的視覺傳感器。

7.按照權利要求1所述的演示環境下基于計算機視覺的人機交互系統，其特征在于，所述的演示內容包括文字、圖片、視頻和音樂中的一種或任意組合。

8.一種權利要求1所述的演示環境下基于計算機視覺的人機交互系統的交互方法，其特征在于，該交互方法包括以下步驟：

第一步：設置人體手勢控制動作的標準運動方式，然后將該標準運動方式及該標準運動方式對應的判別標準，存儲在手勢識別模塊中；對每種手勢控制動作的標準運動方式分配手勢指令，將每種手勢指令以及該手勢指令對應的演示效果制成指令效果對照表，將該指令效果對照表存儲在效果顯示模塊中；

第二步：安裝系統：安裝視覺傳感器，使人體和演示屏幕位于視覺傳感器的視野范圍內；視覺傳感器的信號輸出端與計算機的手勢識別模塊的信號輸入端進行通信連接，手勢識別模塊的信號輸出端和效果顯示模塊的信號輸入端連接，效果顯示模塊的信號輸出端和演示屏幕的信號輸入端連接；演示屏幕顯示演示內容及切換的動畫效果；

第三步：人機交互：人體在演示屏幕前方作出手勢動作，視覺傳感器捕獲位于視覺傳感器的視野范圍內的信息，并將信息傳遞給手勢識別模塊，手勢識別模塊持續對視覺傳感器傳遞的信息進行分析，并判斷該信息中包含的人體手勢動作是否屬于第一步中設置的人體手勢控制動作的標準運動方式，如果是，則將該信息轉化為手勢指令后傳遞給效果顯示模塊，效果顯示模塊接收手勢識別模塊傳遞的信息，根據指令效果對照表，對演示屏幕上演示的內容做出相應的改變；如果不是，則手勢識別模塊記錄或者不記錄該計算結果，手勢識別模塊不與效果顯示模塊通信或者通知效果顯示模塊當前沒有有效手勢，效果顯示模塊對演示內容不產生操作。

9.按照權利要求8所述的演示環境下基于計算機視覺的人機交互系統的交互方法，其特征在于，所述的第一步中，設置人體手勢控制動作的運動方式為向左移動、向右移動、向上移動、向下移動，同時在演示屏幕前方設置手勢判斷區域，手勢判斷區域位于視覺傳感器的視野范圍中。

10.按照權利要求9所述的演示環境下基于計算機視覺的人機交互系統的交互方法，其特征在于，所述的第三步中，手勢識別模塊對視覺傳感器傳遞的信息進行分析的過程包括以下步驟：

步驟101）根據計算機視覺算法,測算人體手部位置；

步驟102）分析人體手部的位置是否在手勢判斷區域內：設定演示屏幕前方n米以內的區域為手勢判斷區域，接著測算出人體的手部到演示屏幕的距離為h米，如果h≤n，則人體手部位于手勢判斷區域內，進入步驟103），如果h＞n，則人體手部位于手勢判斷區域外，該人體手部動作不屬于第一步中設置的人體手勢控制動作的標準運動方式；

步驟103）設定手部向上移動的閾值為D1、向下移動的閾值為D2、向左移動的閾值為D3、向右移動的閾值為D4，然后判斷人體手部動作中包含的手勢運動軌跡從起點到終點分別向上、下、左、右四個方向移動的距離是否達到相應方向的閾值，如果達到閾值，則該手部動作屬于第一步中設置的人體手勢控制動作的運動方式；如果沒有達到閾值，則該手部動作不屬于第一步中設置的人體手勢控制動作的運動方式；如果兩個或兩個以上方向都達到閾值，則將最先達到的閾值對應的方向作為第一步中設置的人體手勢控制動作的標準運動方式。