[發明專利]演示環境下基于計算機視覺的人機交互系統及交互方法

有效

• 申請號: 201310212362.2
• 申請日: 2013-05-31
• 公開（公告）號: CN103268153A
• 公開（公告）日: 2013-08-28
• 發明（設計）人: 李夢天;龐明;孟成林;姜承祥;路通
• 申請（專利權）人: 南京大學
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 江蘇圣典律師事務所 32237
• 代理人: 程化銘

技術領域

??本發明屬于人機交互領域，具體來說，涉及演示環境下的基于計算機視覺的人機交互系統及交互方法。

背景技術

演示行為是指借助屏幕或投影顯示演示內容，用演講的形式的一種介紹行為。演示環境是指進行演示行為的環境。目前，隨著各類視頻捕捉設備的快速普及，基于視覺的用戶行為分析與自然交互技術的重要性也越來越突出，并可廣泛應用于智能電視、體感交互、教學演示等場合。一個典型的應用場景是：目前普遍使用的演示系統通常要使用如鍵盤、鼠標以及無線遙控器等控制設備，但在人機交互的自然化，便捷性上仍存在諸多限制。如果能針對人機交互這一典型問題，開發一種更加自然的交互方式，顯然是非常有吸引力和實用價值的。基于計算機視覺的人機交互可以解決以上問題，然后現有的此類交互一般都要求控制者面對屏幕，且身體不能靠近身后的物體。顯然，這樣的空間要求放在演示環境中的演講者身上是不合適的。此外，為了避免手勢誤判，控制者在身上，尤其是手部，受到了很大的約束。

發明內容

技術問題：本發明所要解決的技術問題是：提供演示環境下基于計算機視覺的人機交互系統，該人機交互系統通過視覺手段識別演講者的典型手勢，并將其應用于系統演示，從而從視覺識別角度，幫助演講者與演示設備間自然交互，一方面可以讓演講者面向觀眾展現演示內容，另一方面顯示內容間的切換效果和其他動畫效果可以動態地由演講者手勢確定，減少了顯示效果前期準備時間，提高了演講者的工作效率；同時，還提供了該交互系統的交互方法，該方法簡單，通過演講者的手勢動作控制演示內容的切換。

技術方案：為解決上述技術問題，本發明采用的技術方案是：

一種演示環境下基于計算機視覺的人機交互系統，該人機交互系統包括演示屏幕、計算機、視覺傳感器和人體，人體和演示屏幕位于視覺傳感器的視野范圍內；人體位于演示屏幕前方；人體背部或者人體側部與演示屏幕相對；計算機中包含手勢識別模塊和效果顯示模塊；

手勢識別模塊用于控制計算機與視覺傳感器的連接和斷開，從視覺傳感器獲得數據，并對接收的數據進行分析，產生相應的手勢控制指令，將手勢控制指令傳遞給與效果顯示模塊；

效果顯示模塊用于建立和繪制圖形界面，讀入或繪制用戶進行演示的內容，提供用戶選擇的手勢指令集合，接受手勢識別模塊發送的手勢控制指令，并顯示手勢控制指令對應的演示內容；

計算機中的效果顯示模塊將演示內容繪制在展示給觀眾觀看的演示屏幕上，視覺傳感器捕獲位于視覺傳感器的視野范圍內的信息作為視覺信息，視覺傳感器將視覺信息傳給計算機的手勢識別模塊，手勢識別模塊接受并分析該視覺信息，然后生成與該視覺信息相應的手勢控制指令，手勢識別模塊將該手勢控制指令傳遞給效果顯示模塊，效果顯示模塊根據接收到的手勢控制指令，切換演示屏幕上的演示內容。

進一步，所述的效果顯示模塊還用于接受通過計算機輔件輸入的控制指令，并顯示該控制指令對應的演示內容。

上述的演示環境下基于計算機視覺的人機交互系統的交互方法，該交互方法包括以下步驟：

第一步：設置人體手勢控制動作的標準運動方式，然后將該標準運動方式及該標準運動方式對應的判別標準，存儲在手勢識別模塊中；對每種手勢控制動作的標準運動方式分配手勢指令，將每種手勢指令以及該手勢指令對應的演示效果制成指令效果對照表，將該指令效果對照表存儲在效果顯示模塊中；

第二步：安裝系統：安裝視覺傳感器，使人體和演示屏幕位于視覺傳感器的視野范圍內；視覺傳感器的信號輸出端與計算機的手勢識別模塊的信號輸入端進行通信連接，手勢識別模塊的信號輸出端和效果顯示模塊的信號輸入端連接，效果顯示模塊的信號輸出端和演示屏幕的信號輸入端連接；演示屏幕顯示演示內容及切換的動畫效果；

第三步：人機交互：人體在演示屏幕前方作出手勢動作，視覺傳感器捕獲位于視覺傳感器的視野范圍內的信息，并將信息傳遞給手勢識別模塊，手勢識別模塊持續對視覺傳感器傳遞的信息進行分析，并判斷該信息中包含的人體手勢動作是否屬于第一步中設置的人體手勢控制動作的標準運動方式，如果是，則將該信息轉化為手勢指令后傳遞給效果顯示模塊，效果顯示模塊接收手勢識別模塊傳遞的信息，根據指令效果對照表，對演示屏幕上演示的內容做出相應的改變；如果不是，則手勢識別模塊記錄或者不記錄該計算結果，手勢識別模塊不與效果顯示模塊通信或者通知效果顯示模塊當前沒有有效手勢，效果顯示模塊對演示內容不產生操作。?

有益效果：與現有技術相比，本發明具有以下有益效果：