[發明專利]一種可視可操作無實體的觸摸屏系統

無效

• 申請號: 200910197205.2
• 申請日: 2009-10-15
• 公開（公告）號: CN101673161A
• 公開（公告）日: 2010-03-17
• 發明（設計）人: 許景禧;沈一帆
• 申請（專利權）人: 復旦大學
• 主分類號: G06F3/042
• 分類號: G06F3/042;G06F3/01
• 代理公司: 上海正旦專利代理有限公司
• 代理人: 陸 飛;盛志范

技術領域

本發明屬于人機交互技術領域，具體涉及一種可視可操作的觸摸屏系統。

背景技術

在很多虛擬現實系統中，用戶使用數據手套、指示筆、三維鼠標代替鼠標和鍵盤進行 操作。它們能適應虛擬現實系統中空間定位的要求，擴展了操作的形式。但是，它們有共 同的缺點：使用不自然。用戶使用這些器材的時候，有的要佩戴沉重的設備，有的要連著 限制活動范圍的數據線。

以虛擬現實為代表的計算機系統的擬人化和以手持電腦、智能手機為代表的計算機的 微型化、隨身化、嵌入化，是當前計算機的兩個重要的發展趨勢，而以鼠標和鍵盤為代表的 GUI技術是影響它們發展的瓶頸。所以，脫離設備，使用人的感覺和動作來進行輸入越來 越受到人們重視。

另一方面，在虛擬現實的人機交互中，人們不單需要有自然的輸入，還需要自然的輸 出。人們希望觀察的虛擬世界就在他們周圍，而不僅限于屏幕中。這樣人們才能以平常觀 察物體的方式，從自己喜歡的角度觀看并獲取需要的信息。研究者開始拋棄傳統的固定顯 示器，提出了用投影以及頭戴式顯示器來進行輸出的方法，或者是使用三維全息顯示設備 來向人們展示虛擬的物體。

CN1912816A號專利公告公布了一種基于多攝像頭的虛擬觸摸屏系統。該系統有2個或 以上固定的攝像頭來拍攝手指在虛擬觸摸屏上的移動和點擊操作，利用HSV色彩空間背景 分割方法提取手部輪廓，使用粒子濾波追蹤來進行指尖定位。該發明能解決利用直接人手 進行輸入的問題，但是卻沒有考慮到用戶如何觀察虛擬輸出，只是使用普通的顯示屏進行 輸出，在輸出的層面沒有實現虛擬化。

發明內容

本發明的目的在于提供一種能使用戶同時觀察和操作的沒有實體的觸摸屏系統，該系 統結合了基于計算機視覺的指尖檢測技術和增強現實技術，把手指的位置映射到增強現實 世界中，使用戶看到的虛擬觸摸屏能在正確的位置被觸摸和操作，可在輸出層面實現虛擬 化。

本發明的觸摸屏系統包括一臺計算機，兩個網絡攝像頭，一個頭戴式顯示器，一個標 定參照物，該標定參照物標定了一個供操作者手部觸摸操作的虛擬觸摸屏。兩個網絡攝像 頭和計算機連接，計算機再與頭戴式顯示器連接。頭戴式顯示器佩戴于用戶(即操作者) 眼前，兩個網絡攝像頭分別設置于頭戴式顯示器左右上方，用于拍攝用戶手部以及標定參 照物，實時捕獲得到視頻圖像。兩個網絡攝像頭拍攝方向所在射線相交，在同一水平面上 成30到90度的夾角。該系統對夾角角度沒有嚴格的要求。網絡攝像頭把捕獲的視頻幀傳 送到計算機；計算機中設有計算軟件系統，該軟件系統根據標定參照物在視頻幀中的圖像， 計算得到當前攝像頭所在的方位，從而確定虛擬觸摸屏所在位置；根據人手在視頻幀中的 圖像，計算人手的位置，判別人手是否與虛擬觸摸屏接觸；根據以上信息，計算軟件系統 再進行圖像合成；合成的圖像通過頭戴式顯示器進行輸出，用戶通過頭戴式顯示器直接觀 察到虛擬觸摸屏的反饋。

本發明各個部分進一步描述如下：

1、虛擬觸摸屏，以及用戶對其的操作

本發明中的虛擬觸摸屏，實際上是現實空間中的一個矩形區域。這片區域使用一個參 照物來進行標定。用戶可以用手指(握拳狀態時伸出的任意一根手指)在這片區域中進行 點擊、拖曳、多點觸控等傳統觸摸屏的操作。本發明沒有在該區域設置任何觸控感知硬件 設備以及顯示設備，而是通過兩個網絡攝像頭進行基于視覺的人手觸控感應，通過頭戴式 顯示器中觸摸屏虛擬影像與現實世界影像的疊加進行顯示輸出。在旁人看來，用戶是在操 作不可見的物體。

2、兩個攝像頭，用于實時采集視頻圖像

本發明使用兩個網絡攝像頭同時拍攝用戶手部以及標定參照物。

系統在初始化時，主要是進行攝像頭捕獲圖像的前期工作，包括讀入攝像鏡頭的數據， 設定攝像頭的光學特性與畫面大小。另外，系統也會讀入參照物的形狀數據，供之后匹配 使用。

系統在接近的時間分別捕獲兩個攝像頭的圖像，并留待后面步驟處理。同時，對捕獲 到的圖像做一個備份，作為后期合成時使用的背景圖像。

捕獲到的圖像格式是RGBA格式(R-紅，G-綠，B-藍，A-透明度)。之所以保留A通 道，是因為之后的圖像合成處理中要使用A通道來進行透明判斷，進而決定虛擬圖像與現 實圖像的合成方式。