[發明專利]一種基于手勢識別的界面漫游操作方法與裝置

無效

• 申請號: 200910103357.1
• 申請日: 2009-03-12
• 公開（公告）號: CN101510121A
• 公開（公告）日: 2009-08-19
• 發明（設計）人: 韓露;宋海濤;陳東義
• 申請（專利權）人: 重慶大學
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于手勢識別的界面漫游操作方法與裝置，由攝像頭、紅外二極管、CPU、北橋控 制器、南橋控制器、顯示芯片、顯示橋接芯片、IO芯片、BIOS芯片，及承載電路板構成， 其特征是：攝像頭與南橋控制器或IO芯片相連，拍攝到用戶手勢圖像后，通過USB總 線或IEEE1394總線或SPI總線發出此信息，然后經由CPU執行的手勢辨識軟件程序進 行處理，辨識用戶手勢交互中的界面漫游操作。

2.根據權利要求1所述的一種基于手勢識別的界面漫游操作方法與裝置，還可由攝像頭、 紅外二極管、CPU、北橋控制器、南橋控制器、顯示芯片、橋接芯片、IO芯片、BIOS芯 片、可編程手勢識別芯片或專用手勢識別芯片，及承載電路板構成，其特征是：攝像頭 與可編程手勢識別芯片或專用手勢識別芯片相連，該芯片通過PS/2或USB總線與南橋控 制器或IO芯片或南北橋集成芯片或系統SOC芯片相連，攝像頭拍攝到用戶手勢圖像后， 通過USB總線或IEEE1394總線或SPI總線或自定義IO數據線向可編程手勢識別芯片或 專用手勢識別芯片發出此圖像信息，由此芯片將手勢視頻流解算后，辨識雙擊指令，并 由芯片內部的PS/2或USB總線接口將鼠標事件指令發出。

3.根據權利要求1所述的一種基于手勢識別的界面漫游操作方法與裝置，其特征是：所述 的攝像頭可在紅外波段攝像，可配合紅外二極管光源工作，所述的紅外二極管為可選裝 置，紅外二極管的配置可為計算機顯示器邊框上、鍵盤平面上、頭戴顯示器上，用以對 用戶手部進行紅外照射，避免外界可見光對攝像頭的干擾，以提高識別率。

4.根據權利要求1所述的一種基于手勢識別的界面漫游操作方法與裝置，其特征是：所述 的手勢辨識軟件程序、可編程手勢識別芯片或專用手勢識別芯片由低層圖像預處理模塊、 中層分割與跟蹤模塊、高層模板匹配模塊構成，圖像輸入低層圖像預處理模塊，該模塊 具備線性濾波與邊緣檢測功能，中層分割與跟蹤模塊用以將視頻流分割成單幅圖像或在 單幅圖像中的具有目標特征的像素分割出來，并對這些特征像素的坐標進行跟蹤，高層 模板匹配模塊采用隱馬爾可夫模板對特征像素進行寓意匹配，輸出得到手勢界面漫游操 作的含義。

5.根據權利要求1所述的一種基于手勢識別的界面漫游操作方法與裝置，其特征是：手勢 界面漫游操作類型由左手或右手的確定動作所表征，該動作被預設模板或用戶自定義模 板所匹配，在使用預設模板時，用戶的手部動作需與模板中的預設手部運動模型相符方 能對漫游操作進行行為表征，用戶自定義模板由用戶訓練得到。

6.根據權利要求5所述的一種基于手勢識別的界面漫游操作方法與裝置，其特征是：所述 的用戶自定義模板的訓練過程為，用戶通過本裝置將所設定時間內的手部運動過程攝像， 對所得的視頻流進行權利要求4中的低層圖像預處理、中層分割與跟蹤、高層模板匹配， 最后得到一個特征點數據集合來表征手部動作與漫游操作的匹配關系，訓練過程需重復 多次。

7.根據權利要求5所述的一種基于手勢識別的界面漫游操作方法與裝置，其特征是：在手 部的雙擊操作過程中，用戶可擴展已有的預設匹配模板和自定義匹配模板，在捕獲手部 操作動作后，手勢識別芯片將之與預設匹配模板和自定義匹配模板進行匹配，如果無法 匹配則提供給用戶選項以人為選擇該動作所代表的寓意，并將之加入匹配模板中。

8.根據權利要求5所述的一種基于手勢識別的界面漫游操作方法與裝置，其特征是：所述 的漫游操作包括鼠標的定位、左鍵單擊、左鍵雙擊、右鍵單擊、滾輪、拖拽操作，人機 界面的二維旋轉、三維旋轉、放大、縮小。