[發明專利]一種可視可操作無實體的觸摸屏系統

無效

• 申請號: 200910197205.2
• 申請日: 2009-10-15
• 公開（公告）號: CN101673161A
• 公開（公告）日: 2010-03-17
• 發明（設計）人: 許景禧;沈一帆
• 申請（專利權）人: 復旦大學
• 主分類號: G06F3/042
• 分類號: G06F3/042;G06F3/01
• 代理公司: 上海正旦專利代理有限公司
• 代理人: 陸 飛;盛志范

1.一種可視可操作無實體的觸摸屏系統，其特征在于包括一臺計算機，兩個網絡攝 像頭，一個頭戴式顯示器，一個標定參照物，該標定參照物標定了一個供用戶手部觸摸操 作的虛擬觸摸屏；兩個網絡攝像頭和計算機連接，計算機再與頭戴式顯示器連接；頭戴式 顯示器佩戴于用戶眼前，兩個網絡攝像頭分別設置于頭戴式顯示器左右上方，用于拍攝用 戶手部以及標定參照物，實時捕獲得到視頻圖像；兩個網絡攝像頭拍攝方向所在射線相交， 在同一水平面上成30到90度的夾角；網絡攝像頭把捕獲的視頻幀傳送到計算機；計算機 中設有計算軟件系統，該軟件系統根據標定參照物在視頻幀中的圖像，計算得到當前攝像 頭所在的方位，從而確定虛擬觸摸屏所在位置，并根據人手在視頻幀中的圖像，計算人手 的位置，判別人手是否與虛擬觸摸屏接觸；根據以上虛擬觸摸屏的位置信息、人手的位置 及人手是否接觸虛擬觸摸屏的動作信息，計算軟件系統再進行圖像合成；合成的圖像通過 頭戴式顯示器進行輸出，用戶通過頭戴式顯示器直接觀察到虛擬觸摸屏的反饋；

所述的計算軟件系統由下述軟件模塊組成：

1)虛擬觸摸屏定位模塊

該模塊根據參照物的坐標系與攝像頭的坐標系之間的轉換關系，確定虛擬觸摸屏相對 于攝像頭的空間位置；對虛擬觸摸屏進行定位后，系統可以得到虛擬觸摸屏上面的點與攝 像頭拍攝到的圖像上的點的對應關系，包括虛擬觸摸屏4個角點在攝像頭拍攝圖像上對應 的4個點，得到虛擬觸摸屏影像合成在現實世界影像的位置和角度；

2)指尖定位及運動檢測模塊

該模塊首先進行膚色檢測，把人手區域分割出來，再用計算機圖像處理的形態學方法 獲取人手指尖在攝像頭圖像中的位置；然后，根據虛擬觸摸屏的位置，計算出手指在其上 的位置，并使用運動追蹤算法加強穩定性；最后，使用射影幾何方法，判斷指尖是否與虛 擬觸摸屏接觸；該模塊又分為如下幾個子模塊：

i)膚色檢測子模塊

本系統使用一種基于膚色檢測算法的背景分割方法；該算法基于這樣一個統計數據： 人手的色彩在YCbCr色彩空間上的分布投影到Cb-Cr平面上時，能近似聚集在一個橢圓區 域內，由此判定在該橢圓區域范圍內的色彩是膚色，得到膚色所在的區域，即人手所在的 區域；

ii)指尖在攝像頭圖像中位置檢測子模塊

在這個模塊中，系統要獲取指尖在攝像頭圖像中位置；

首先，系統對膚色區域使用連通區算法求出所有連通區，判定手部區域是畫面中最大 的連通區；

給該連通區進行去噪處理后，提取手指的輪廓，把手指區域填充完整；

接著，從其上確定指尖位置：使用一種改進的Takao算法來定位出指尖的位置：先計 算出手部連通區的傾斜角度，然后根據手部與敏感區域邊界的靠近情況來決定手指的底 部，接著計算從手指底部出發順著手部傾斜方向找到最遠點；該點即為指尖位置；

iii)指尖在虛擬觸摸屏中的位置計算子模塊

在本模塊中，系統通過近似射影變換找出指尖在虛擬觸摸屏上的位置；

iv)指尖與虛擬觸摸屏接觸檢測子模塊

本模塊用于判斷指尖是否與虛擬觸摸屏接觸，其得到的信息能讓系統判斷指尖是否進 行點擊、拖曳操作；

利用射影幾何的方法來判斷指尖是否接觸虛擬屏平面，當指尖不落在虛擬平面上時， 通過成像平面觀察，其在虛擬平面上的投影不重合；當指尖落在虛擬平面上時，它在虛擬 平面的投影重合；

3)虛擬觸摸屏視頻圖像合成模塊

本模塊根據前面獲得的虛擬觸摸屏的位置信息以及指尖的位置動作信息，合成相應的 虛擬圖像，以提供適當的操作反饋；具體分為兩個部分：

i)把虛擬物體疊加在背景圖像上

根據上面采集到的觸控操作信息，系統繪制相應的虛擬觸摸屏反饋，然后疊加在攝像 頭拍攝的現實圖像上；

ii)把手疊加在圖像最上方

把合成后的圖像輸出到頭戴式顯示器上，用戶便能觀察到虛擬觸摸屏。