[發(fā)明專利]一種基于機(jī)器視覺的空中手寫識(shí)別系統(tǒng)及方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201810620085.1
• 申請(qǐng)日: 2018-06-15
• 公開（公告）號(hào): CN109033954B
• 公開（公告）日: 2022-02-08
• 發(fā)明（設(shè)計(jì)）人: 汪梅;王博馨;孫敏;牛欽;翟珂;王剛;張佳楠
• 申請(qǐng)（專利權(quán)）人: 西安科技大學(xué)
• 主分類號(hào): G06V40/20
• 分類號(hào): G06V40/20;G06V10/764;G06K9/62
• 代理公司: 西安瀚匯專利代理事務(wù)所(普通合伙) 61279
• 代理人: 汪重慶

本發(fā)明公開了一種基于機(jī)器視覺的空中手寫識(shí)別系統(tǒng)及方法，手寫字符視頻輸入部分用于實(shí)時(shí)采集輸入的特定顏色的空中手寫字符視頻并將采集到的軌跡點(diǎn)生成軌跡圖片；預(yù)處理部分用于對(duì)軌跡點(diǎn)生成軌跡圖片進(jìn)行濾波、灰度二值化、形態(tài)學(xué)的預(yù)處理操作；字符分割部分用于將預(yù)處理后的軌跡點(diǎn)生成軌跡圖片的RGB色彩空間轉(zhuǎn)換成HSV后，利用GA?Otsu分割算法分割出HSV中的字符；特征提取部分對(duì)分割出的字符進(jìn)行特征提取；分類識(shí)別部分用于將提取的特征用粒子群優(yōu)化算法PSO優(yōu)化支持向量機(jī)算法SVM得到最優(yōu)SVM分類模型，輸出所有字符的識(shí)別結(jié)果。本發(fā)明只需對(duì)特定顏色的書寫軌跡進(jìn)行捕捉，效率高，節(jié)省成本，方便攜帶，也不需要判斷書寫的起止與結(jié)束。

技術(shù)領(lǐng)域

本發(fā)明涉及機(jī)器視覺識(shí)別技術(shù)領(lǐng)域，特別是一種基于機(jī)器視覺的空中手寫識(shí)別系統(tǒng)及方法。

背景技術(shù)

空中手寫作為舒適自然的新型人機(jī)交互手段，它不同于傳統(tǒng)的人機(jī)交互方式，空中手寫允許用戶以自然且無拘束的方式在空中進(jìn)行書寫，這樣提供了更加直觀、方便、舒適的互動(dòng)體驗(yàn)。空中手寫全部過程主要包括兩方面的技術(shù)。即動(dòng)態(tài)目標(biāo)物體捕捉和手寫識(shí)別。作為一種新型的人機(jī)交互方式，空中筆跡開啟了一個(gè)先進(jìn)而自然的人機(jī)交互的新時(shí)代，并有望在未來的人機(jī)交互應(yīng)用中發(fā)揮重要作用。目前，空中手寫識(shí)別大多通過兩種方式來實(shí)現(xiàn)，(1)基于加速度傳感器，采集并分析空中手寫運(yùn)動(dòng)數(shù)據(jù)。然后提取采集數(shù)據(jù)的特征向量，并采用模式識(shí)別算法分類識(shí)別。(2)基于計(jì)算機(jī)攝像頭，利用特定算法捕捉書寫手勢(shì)。然后對(duì)生成的運(yùn)動(dòng)軌跡形成的具體內(nèi)容進(jìn)行分析、識(shí)別。但這些方式在實(shí)際應(yīng)用中仍舊存在以下共同問題：

1、空中書寫時(shí)，需要判別書寫的起始和結(jié)束狀態(tài)。若書寫過程中出現(xiàn)停頓現(xiàn)象，則會(huì)出現(xiàn)噪聲數(shù)據(jù)過多的現(xiàn)象，因此會(huì)無法實(shí)現(xiàn)真正的舒適、廉價(jià)、自然的人機(jī)交互方式。

2、通常對(duì)環(huán)境場(chǎng)景的要求較為嚴(yán)格，需要用戶佩戴特定數(shù)據(jù)手套或傳感設(shè)備，且需要配備位置跟蹤定位器，致使該系統(tǒng)價(jià)格昂貴，實(shí)用性低，難以推廣。

3、非接觸的設(shè)計(jì)需對(duì)特定目標(biāo)進(jìn)行實(shí)時(shí)的監(jiān)控，因此存在一定的局限性。

4、空中書寫不像手寫板一樣有平面作為支撐，是在立體空間中進(jìn)行的。因此筆畫之間的重疊以及字體比例失調(diào)等使識(shí)別難度大大增加。

5、識(shí)別的準(zhǔn)確率和速度不能滿足人們需求。

發(fā)明內(nèi)容

本發(fā)明的目的是要解決現(xiàn)有技術(shù)中存在的不足，提供一種基于機(jī)器視覺的空中手寫識(shí)別系統(tǒng)及方法。

為達(dá)到上述目的，本發(fā)明是按照以下技術(shù)方案實(shí)施的：

一種基于機(jī)器視覺的空中手寫識(shí)別系統(tǒng)，由手寫字符視頻輸入部分和安裝在計(jì)算機(jī)中的預(yù)處理部分、字符分割部分、特征提取部分和分類識(shí)別部分組成，手寫字符視頻輸入部分包括攝像頭，攝像頭用于實(shí)時(shí)采集輸入的特定顏色的空中手寫字符視頻并將采集到的軌跡點(diǎn)生成軌跡圖片；預(yù)處理部分用于對(duì)軌跡點(diǎn)生成軌跡圖片進(jìn)行濾波、灰度二值化、形態(tài)學(xué)的預(yù)處理操作；字符分割部分用于將預(yù)處理后的軌跡點(diǎn)生成軌跡圖片的RGB色彩空間轉(zhuǎn)換成HSV后，利用 GA-Otsu分割算法分割出HSV中的字符；特征提取部分對(duì)分割出的字符進(jìn)行特征提取；分類識(shí)別部分用于將提取的特征用粒子群優(yōu)化算法PSO優(yōu)化支持向量機(jī)算法SVM得到最優(yōu)SVM分類模型，輸出所有字符的識(shí)別結(jié)果。

另外，本發(fā)明還提供了一種基于機(jī)器視覺的空中手寫識(shí)別方法，包括以下步驟：

S1、手寫字符視頻輸入及預(yù)處理：通過攝像頭捕捉特定顏色的空中手寫字符視頻，第一次檢測(cè)到特定顏色作為第一個(gè)軌跡點(diǎn)，當(dāng)形成的軌跡點(diǎn)達(dá)到24個(gè)時(shí)結(jié)束采集，軌跡點(diǎn)之間用直線連接形成字符，同時(shí)將其保存成圖片進(jìn)行判定識(shí)別，最后對(duì)保存的字符圖片進(jìn)行歸一化處理，使圖片的大小為50*50并以.png 格式保存，并發(fā)送至計(jì)算機(jī)中通過運(yùn)處理部分對(duì)該圖片進(jìn)行濾波、灰度二值化、形態(tài)學(xué)的預(yù)處理操作；