[發(fā)明專利]一種基于手繪草圖和手勢輸入判斷處理的筆式交互方法

有效

• 申請?zhí)枺?/td>: 201310327609.5
• 申請日: 2013-07-31
• 公開（公告）號: CN103399698A
• 公開（公告）日: 2013-11-20
• 發(fā)明（設(shè)計）人: 李恒;邵宏峰;熊毅
• 申請（專利權(quán)）人: 中國船舶重工集團公司第七〇九研究所
• 主分類號: G06F3/0487
• 分類號: G06F3/0487;G06K9/00
• 代理公司: 武漢金堂專利事務(wù)所 42212
• 代理人: 胡清堂

技術(shù)領(lǐng)域

本發(fā)明屬于人機交互技術(shù)領(lǐng)域，具體的說是一種基于手繪草圖和手勢輸入判斷處理的筆式交互方法。

背景技術(shù)

傳統(tǒng)的圖形用戶界面基于桌面隱喻，采用WIMP（Window，Icon,Menu,Pointing）交互范式，以鼠標(biāo)、鍵盤作為交互設(shè)備實現(xiàn)人機對話。筆式交互基于紙筆的隱喻，通過寫字板、觸摸屏等輸入設(shè)備，采集用戶基于手寫筆或手指的輸入軌跡，幫助人們方便地捕捉想法、記錄事件、進行抽象思考和形象的描述。

在基于圖形交互的領(lǐng)域中，筆式交互根據(jù)所采集的用戶輸入信息，捕捉和理解用戶意圖，并映射至相關(guān)專業(yè)應(yīng)用領(lǐng)域的圖形符號集中的標(biāo)準(zhǔn)圖形符號反饋顯示，或映射為手勢命令進行相應(yīng)操作。因提供自然、便利的操作方式，筆式交互在計算機輔助設(shè)計、計算機動畫與虛擬現(xiàn)實、可視化對象建模、軍事標(biāo)繪等諸多領(lǐng)域有廣泛的應(yīng)用需求。筆式交互的輸入包括草圖圖形符號輸入和手勢輸入，下面作簡單介紹。

草圖圖形符號可分為基本圖形和復(fù)合圖形。基本圖形是復(fù)合圖形對象的基本組成元素，表現(xiàn)為封閉凸多邊形、橢圓或者線/弧段等幾何圖形。復(fù)合圖形通常由基本圖形單元按一定的幾何關(guān)系構(gòu)成，對應(yīng)于專業(yè)應(yīng)用領(lǐng)域的圖形符號集中的圖形。

手勢主要包括WIMP交互范式下的手勢以及筆式交互界面下的手勢。WIMP交互范式下的手勢主要包括類似鼠標(biāo)操作的點選手勢、類似鼠標(biāo)操作的拖放手勢等，而筆式交互界面下的手勢是指無需借助鼠標(biāo)、鍵盤等傳統(tǒng)設(shè)備，直接通過手或數(shù)字筆手繪輸入的預(yù)定義的由簡單幾何圖形所代表的手勢，如：圈選手勢，刪除手勢、復(fù)制手勢等。為了表述方便，本說明書的后續(xù)部分將直接簡稱為WIMP手勢和筆手勢。手勢根據(jù)實現(xiàn)功能又可分為圖形對象拾取類手勢、圖形對象編輯類手勢和操作狀態(tài)控制類手勢。其中，用戶通過圖形對象拾取類手勢對圖形對象進行選擇、棄選操作，通過圖形對象編輯類手勢對圖形對象進行拖動、刪除等操作，通過操作狀態(tài)控制類手勢實現(xiàn)對當(dāng)前操作的撤銷、恢復(fù)等命令。為了表述的方便，圖形對象拾取類手勢和圖形對象編輯類手勢可并稱為圖形對象操作類手勢。要特別說明的是，WIMP手勢雖然是在WIMP交互界面中所定義的手勢，但在筆式交互中仍可以通過手或數(shù)字筆完成WIMP手勢的操作，為了和筆式交互界面下特有的筆手勢區(qū)分開，所以本發(fā)明所述的筆式交互方法中的手勢分為WIMP手勢和筆手勢兩種手勢，但兩種手勢都可以通過手或數(shù)字筆完成。

考慮到操作的便利性，筆手勢被定義為可一筆繪制的簡單圖形，可歸到基本圖形類，在本說明書的后續(xù)部分為了表述的方便，所述基元即指基本圖形單元，特指構(gòu)成復(fù)合圖形對象的基本圖形，筆手勢則特指代表圖形對象操作或操作狀態(tài)控制命令的基本圖形。其中，筆手勢與基元存在二義性定義的可能性。

目前對筆式交互領(lǐng)域的研究有如下的一些方法。如李恒等申請的“一種復(fù)合圖形在線識別方法”（ZL201010295238.3）中，提出了一種手繪草圖識別方法，不涉及到交互反饋機制的設(shè)計，也不涉及到手勢交互。又如Trembley等申請的“Sketch?recognition?and?enhancement”（United?States?Patent:?7515752），提出了一種手繪草圖識別及規(guī)整化方法，該專利申報點主要側(cè)重于手繪草圖識別及規(guī)整化方法，在交互反饋上僅限于根據(jù)識別結(jié)果對筆劃和草圖圖形符號的規(guī)整化，不涉及到手勢交互，缺乏在保證用戶輸入連續(xù)性的情況下的交互反饋機制的設(shè)計。再如朱湛峰等申請的“一種基于手持設(shè)備的依靠快捷圖形識別調(diào)用功能的方法”（專利申請?zhí)枺?00810119196）,提出了一種手勢識別方法，不涉及到草圖圖形符號的識別反饋，也不涉及交互反饋機制的設(shè)計。再如Jian?Wang等申請的“Unifield?digital?ink?recognition”?（United?States?Patent:?20070821858），提出了一種數(shù)字墨水的統(tǒng)一識別方法，能夠?qū)Σ輬D符號、手勢等在無狀態(tài)切換的情況下統(tǒng)一識別，該方法側(cè)重于不同類數(shù)字墨水?dāng)?shù)據(jù)的采集、訓(xùn)練、建模等，不涉及交互反饋機制的設(shè)計。在專利“一種基于圖形符號草圖在線識別的電子標(biāo)繪方法”（申請?zhí)枺?01218007969.3）中，提出了一種基于軍隊標(biāo)號草圖和手勢符號識別的方法，該方法不支持WIMP手勢交互，所支持的筆手勢種類有限，且僅限于圖形對象操作類手勢，不涉及操作狀態(tài)控制類手勢，筆手勢與基元嚴(yán)格區(qū)分開，且草圖符號輸入和手勢輸入需通過點擊按鈕進行顯式狀態(tài)切換。

目前國內(nèi)外在筆式交互方面的研究，具體存在以下方面的問題：

（1）大部分研究側(cè)重于對草圖圖形符號識別方法的研究，缺乏對交互反饋機制、手勢交互的研究。