[發明專利]一種基于普通紙筆的人機交互方法及人機交互系統

有效

• 申請號: 201210358762.X
• 申請日: 2012-09-25
• 公開（公告）號: CN102929387A
• 公開（公告）日: 2013-02-13
• 發明（設計）人: 柳有權;蘇仙鶴;鄭偉
• 申請（專利權）人: 長安大學
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00;G06K9/62
• 代理公司: 西安創知專利事務所 61213
• 代理人: 譚文琰

技術領域

本發明屬于混合現實領域中的信息交互技術領域，尤其是涉及一種基于普通紙筆的人機交互方法及人機交互系統。

背景技術

在當今計算機普及的時代，人與計算機的交互無處不在，因而決不能由于現有交互方式的限制，將某些研究領域阻擋在技術便利的大門之外。作為人機接口設備，鼠標與鍵盤扮演了極其重要的角色。然而在一定程度上鼠標與鍵盤卻把一些人擋在了科技生活的大門之外，傳統的鼠標鍵盤交互方式存在操作步驟比較繁瑣、效率低、勞動強度較大、需長時間面對電腦且需配備相應的硬件設備等缺陷和不足。隨著人機交互“自然化”的發展，傳統的鼠標鍵盤交互方式已經不能滿足用戶日益增長的實際需求。

發明內容

本發明所要解決的技術問題在于針對上述現有技術中的不足，提供一種方法步驟簡單、實現方便且智能化程度高、使用效果好的計算機與紙筆信息交互方法。

為解決上述技術問題，本發明采用的技術方案是：一種一種基于普通紙筆的人機交互方法，其特征在于該方法包括以下步驟：

步驟一、建立交互信息識別模板庫并輸入初始參數：利用處理器建立交互信息識別模板庫，所建立的交互信息識別模板庫內存儲有需進行交互的多個類型圖文信息分類符的圖像信息和各圖文信息分類符的屬性數據，且各圖文信息分類符的圖像信息與其屬性數據之間均通過關聯單元進行關聯，所述屬性數據包括圖文信息分類符所對應圖文信息的類型和對圖文信息分類符所對應圖文信息進行處理的信息處理模塊；同時，通過所述參數設置單元輸入初始參數，所述初始參數包括所使用方形白紙的尺寸信息；

步驟二、信息交互前期預處理，其預處理過程包括以下步驟：

步驟201、獲取背景信息：通過攝像頭攝取操作平臺的圖像信息并同步上傳至處理器，所攝取的操作平臺圖像信息即為信息交互用背景信息，且處理器將所述背景信息存入存儲器內；

步驟202、提取紙張信息：將方形白紙平鋪在步驟201中所述的操作平臺上，再通過攝像頭攝取所述操作平臺和平鋪在所述操作平臺上的方形白紙的組合式圖像信息，并將所攝取的所述組合式圖像信息同步上傳至處理器；之后，結合步驟201中所述背景信息，所述處理器調用背景濾除模塊將所述組合式圖像信息中的所述背景信息減除，并相應獲得需進行信息交互的前景信息，且處理器將所述前景信息存入存儲器內；之后，所述處理器結合步驟一中所輸入方形白紙的尺寸信息，并調用角點檢測模塊和直線檢測模塊，對所述前景信息中方形白紙的四個頂點位置進行確定，并相應在所述前景信息中檢測出方形白紙的具體位置；

步驟203、需交互信息采集：處理器采用書寫后采集方式或書寫同步采集方式，對方形白紙上所書寫的需交互圖文信息進行采集；

當采用書寫后采集方式進行采集時，步驟202中所述的方形白紙為上部已書寫有一組或多組圖文信息的方形紙；且處理器采用書寫后采集方式進行采集時，處理器調用圖像截取模塊將步驟202中已檢測出方形白紙上的圖像信息截取出來，并將所截取圖像信息存入存儲器內；此時，存入存儲器內的所截取圖像信息便為需交互信息；

當采用書寫同步采集方式進行采集時，步驟202中所述的方形白紙為空白紙；本步驟中，所述處理器采用邊書寫邊采集的方式進行采集，且實際進行采集時，通過攝像頭對書寫過程中各時刻方形白紙上的圖像信息進行實時攝取，并將實時所攝取信息同步傳送至處理器；處理器調用視頻運動檢測模塊對攝像頭實時所攝取信息進行分析處理，并相應實現對書寫過程中書寫筆的筆尖進行跟蹤，且通過跟蹤書寫筆的筆尖，實時獲取書寫筆在方形白紙上所書寫的圖文信息，并將所獲取的圖文信息存入存儲器內；此時，存入存儲器內的實時所獲取書寫筆在方形白紙上所書寫的圖文信息，便為需交互信息；

步驟203中所述需交互信息包括一組或多組圖文信息；且所述需交互信息中的各組圖文信息為純文字信息、草圖繪制信息、二維幾何繪制信息、三維幾何建模信息、物理信息或仿真按鈕信息；其中，所述純文字信息、草圖繪制信息、二維幾何繪制信息、三維幾何建模信息和物理信息的圖文信息分類符均為組合式標識符，所述組合式標識符由前后兩個相同的標識符號組成；且所述純文字信息、草圖繪制信息、二維幾何繪制信息、三維幾何建模信息和物理信息，均包括前后兩個相同的標識符號和置于兩個所述標識符號之間的圖文信息內容；所述仿真按鈕信息的圖文信息分類符為一個單獨式標識符，且所述仿真按鈕信息包括所述單獨式標識符；

步驟203中所述需交互信息中的任一組所述物理信息，均與一組仿真按鈕信息通過關聯單元進行關聯；

步驟三、信息交互，其信息交互過程如下：