[發明專利]一種基于普通紙筆的人機交互方法及人機交互系統

有效

• 申請號: 201210358762.X
• 申請日: 2012-09-25
• 公開（公告）號: CN102929387A
• 公開（公告）日: 2013-02-13
• 發明（設計）人: 柳有權;蘇仙鶴;鄭偉
• 申請（專利權）人: 長安大學
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00;G06K9/62
• 代理公司: 西安創知專利事務所 61213
• 代理人: 譚文琰

1.一種基于普通紙筆的人機交互方法，其特征在于該方法包括以下步驟：

步驟一、建立交互信息識別模板庫并輸入初始參數：利用處理器（3-1）建立交互信息識別模板庫，所建立的交互信息識別模板庫內存儲有需進行交互的多個類型圖文信息分類符的圖像信息和各圖文信息分類符的屬性數據，且各圖文信息分類符的圖像信息與其屬性數據之間均通過關聯單元進行關聯，所述屬性數據包括圖文信息分類符所對應圖文信息的類型和對圖文信息分類符所對應圖文信息進行處理的信息處理模塊；同時，通過所述參數設置單元輸入初始參數，所述初始參數包括所使用方形白紙（1）的尺寸信息；

步驟二、信息交互前期預處理，其預處理過程包括以下步驟：

步驟201、獲取背景信息：通過攝像頭（2）攝取操作平臺的圖像信息并同步上傳至處理器（3-1），所攝取的操作平臺圖像信息即為信息交互用背景信息，且處理器（3-1）將所述背景信息存入存儲器（3-5）內；

步驟202、提取紙張信息：將方形白紙（1）平鋪在步驟201中所述的操作平臺上，再通過攝像頭（2）攝取所述操作平臺和平鋪在所述操作平臺上的方形白紙（1）的組合式圖像信息，并將所攝取的所述組合式圖像信息同步上傳至處理器（3-1）；之后，結合步驟201中所述背景信息，所述處理器（3-1）調用背景濾除模塊將所述組合式圖像信息中的所述背景信息減除，并相應獲得需進行信息交互的前景信息，且處理器（3-1）將所述前景信息存入存儲器（3-5）內；之后，所述處理器（3-1）結合步驟一中所輸入方形白紙（1）的尺寸信息，并調用角點檢測模塊和直線檢測模塊，對所述前景信息中方形白紙（1）的四個頂點位置進行確定，并相應在所述前景信息中檢測出方形白紙（1）的具體位置；

步驟203、需交互信息采集：處理器（3-1）采用書寫后采集方式或書寫同步采集方式，對方形白紙（1）上所書寫的需交互圖文信息進行采集；

當采用書寫后采集方式進行采集時，步驟202中所述的方形白紙（1）為上部已書寫有一組或多組圖文信息的方形紙；且處理器（3-1）采用書寫后采集方式進行采集時，處理器（3-1）調用圖像截取模塊將步驟202中已檢測出方形白紙（1）上的圖像信息截取出來，并將所截取圖像信息存入存儲器（3-5）內；此時，存入存儲器（3-5）內的所截取圖像信息便為需交互信息；

當采用書寫同步采集方式進行采集時，步驟202中所述的方形白紙（1）為空白紙；本步驟中，所述處理器（3-1）采用邊書寫邊采集的方式進行采集，且實際進行采集時，通過攝像頭（2）對書寫過程中各時刻方形白紙（1）上的圖像信息進行實時攝取，并將實時所攝取信息同步傳送至處理器（3-1）；處理器（3-1）調用視頻運動檢測模塊對攝像頭（2）實時所攝取信息進行分析處理，并相應實現對書寫過程中書寫筆（4）的筆尖進行跟蹤，且通過跟蹤書寫筆（4）的筆尖，實時獲取書寫筆（4）在方形白紙（1）上所書寫的圖文信息，并將所獲取的圖文信息存入存儲器（3-5）內；此時，存入存儲器（3-5）內的實時所獲取書寫筆（4）在方形白紙（1）上所書寫的圖文信息，便為需交互信息；

步驟203中所述需交互信息包括一組或多組圖文信息；且所述需交互信息中的各組圖文信息為純文字信息、草圖繪制信息、二維幾何繪制信息、三維幾何建模信息、物理信息或仿真按鈕信息；其中，所述純文字信息、草圖繪制信息、二維幾何繪制信息、三維幾何建模信息和物理信息的圖文信息分類符均為組合式標識符，所述組合式標識符由前后兩個相同的標識符號組成；且所述純文字信息、草圖繪制信息、二維幾何繪制信息、三維幾何建模信息和物理信息，均包括前后兩個相同的標識符號和置于兩個所述標識符號之間的圖文信息內容；所述仿真按鈕信息的圖文信息分類符為一個單獨式標識符，且所述仿真按鈕信息包括所述單獨式標識符；

步驟203中所述需交互信息中的任一組所述物理信息，均與一組仿真按鈕信息通過關聯單元進行關聯；

步驟三、信息交互，其信息交互過程如下：

步驟301、信息分類符識別及信息分類：處理器（3-1）調用符號識讀模塊，結合步驟一中所建立的交互信息識別模板庫，對步驟203中所述需交互信息中的圖文信息分類符進行識讀，并根據所識讀出的圖文信息分類符對需交互圖文信息中的一組或多組圖文信息進行分類；

所述符號識讀模塊所識讀出的圖文信息分類符總數量，即為方形紙上所繪制圖文信息的組數；

步驟302、信息處理：采用處理器（3-1）對步驟203中所述需交互信息中的一組或多組圖文信息，分別進行處理；

且對任一組圖文信息來說，所述處理器（3-1）均根據步驟301中所識讀出的該組圖文信息的圖文信息分類符，調用與該圖文信息分類符相對應的信息處理模塊對該組圖文信息進行處理。