[發明專利]具備可持續學習能力的多符號手繪草圖識別方法及裝置

有效

• 申請號: 201810523245.0
• 申請日: 2018-05-28
• 公開（公告）號: CN108805224B
• 公開（公告）日: 2021-10-01
• 發明（設計）人: 黃健;潘崇煜;龔建興;袁興生;陳程;張中杰
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: G06K9/68
• 分類號: G06K9/68;G06N3/04
• 代理公司: 湖南兆弘專利事務所(普通合伙) 43008
• 代理人: 譚武藝

本發明公開了一種具備可持續學習能力的多符號手繪草圖識別方法及裝置，本發明將多符號草圖的每個圖形符號看作是由多個單筆畫基元構成的圖形，用戶預先繪制單符號草圖，系統會基于長短時記憶網絡識別每個筆畫基元，并對符號的空間構成關系建模，將用戶繪制的筆畫構成及其空間關系存入符號庫中；當用戶繪制多符號草圖時，基于長短時記憶網絡在線識別每個筆畫基元類型并對筆畫之間的空間位置關系進行建模，根據用戶輸入的筆畫序列和關系序列構建一個隱馬爾可夫鏈，并結合之前構建的符號庫進行多符號草圖在線推斷和識別。本方法支持用戶自定義符號庫并隨時進行符號庫增加和刪除等更新操作，具備多符號草圖在線識別和可持續學習能力。

技術領域

本發明涉及移動終端上的軌跡識別技術，具體涉及一種具備可持續學習能力的多符號手繪草圖識別方法及裝置。

背景技術

近年來，隨著各種移動終端設備(包括平板電腦，手寫板，繪畫板，智能手機等)的日益普及，手寫輸入已經成為越來越重要的人機交互方式。一圖勝千言，相對于文字等表達方式，手繪草圖能夠更直觀、簡潔、形象地表達多種信息，尤其是在軍事態勢圖標繪、機械制圖等應用領域，基于草圖的交互方式起著不可替代的重要作用。相比于傳統的WIMP(Windows窗口，Icon按鈕，Menu菜單，Point device點選)風格的圖形交互方式，基于草圖的交互具有簡明直觀、易學易用、符合人類思維模式的獨特優勢。基于草圖的人機交互關鍵問題就是手繪草圖識別。手繪草圖識別是將用戶在電子輸入板上繪制的不同風格的模糊草圖映射為精確的圖形類別的過程，即從交互過程中不斷獲取筆畫信息，挖掘草圖特征，從不規則的，模糊的，具有不確定性的草圖中理解用戶意圖，并識別處特定草圖類型。因此，如何實現手繪草圖識別，并且允許用戶在使用過程中不斷更新符號庫，具備持續學習能力，更好地滿足各類用戶需求，已經成為一項亟待解決的關鍵技術問題。

發明內容

本發明要解決的技術問題：針對現有技術的上述問題，提供一種具備可持續學習能力的多符號手繪草圖識別方法及裝置，本發明針對多符號以及小樣本條件下的草圖識別，采用數據驅動方法識別筆畫基元，結合手繪草圖的繪制過程信息和整體圖像信息對草圖進行建模，在此基礎上，采用隱馬爾可夫概率模型對多符號草圖進行在線概率推斷，生成使得后驗概率最大的多符號分割和識別結果，具有識別精度和準確率高、模型泛化能力強、具備可持續學習能力以及小樣本學習能力的優點。

為了解決上述技術問題，本發明采用的技術方案為：

一種具備可持續學習能力的多符號手繪草圖識別方法，實施步驟包括：

1)讀入草圖序列(x₁,x₂,…x_t)構成的待識別草圖，將待識別草圖的草圖序列(x₁,x₂,…x_t)轉化為筆畫序列S_i＝(x₁,x₂,…x_ni),i＝1,2…l；

2)基于訓練好的雙向長短時記憶網絡BiLSTM對筆畫序列S_i進行屬性識別形成筆畫屬性序列Attribute_i；

3)基于預設的筆畫位置關系模型對筆畫序列S_i進行空間關系建模形成筆畫關系序列Relation_i；

4)將待識別草圖的l個筆畫構成的符號保存進入預設的符號庫，形成新的庫存符號Sym_mm＝(Attribute_i＝1,2…l,Relation_i＝1,2…l)；

5)結合當前符號庫中的庫存符號，對待識別草圖的筆畫屬性序列Attribute_i以及筆畫關系序列Relation_i基于隱馬爾可夫模型進行概率推斷識別得到草圖識別結果并輸出。