[發(fā)明專利]人機(jī)交互的閉環(huán)性鼠標(biāo)標(biāo)識(shí)控制系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110287796.3
• 申請(qǐng)日: 2021-03-17
• 公開(kāi)（公告）號(hào): CN112860073A
• 公開(kāi)（公告）日: 2021-05-28
• 發(fā)明（設(shè)計(jì)）人: 李遠(yuǎn)清
• 申請(qǐng)（專利權(quán)）人: 華南腦控（廣東）智能科技有限公司
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01;G06F3/038
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

人機(jī)交互的閉環(huán)性鼠標(biāo)標(biāo)識(shí)控制系統(tǒng)，包括控制模塊和顯示器，顯示器用于顯示控制模塊所管控的人機(jī)交互顯示信號(hào)，人機(jī)交互顯示信號(hào)包括鼠標(biāo)標(biāo)識(shí)；其特征在于，還包括與控制模塊信號(hào)連接的運(yùn)動(dòng)方向拾取模塊、眼電（EOG）信號(hào)拾取模塊及腦電（EEG）信號(hào)拾取模塊；本發(fā)明至少?gòu)纳眢w運(yùn)動(dòng)方向信號(hào)、眼電（EOG）信號(hào)及腦電（EEG）信號(hào)三個(gè)維度定義完成鼠標(biāo)標(biāo)識(shí)的點(diǎn)擊動(dòng)作，另外又輔助從注意力水平直觀顯示和模擬閾值形成的過(guò)濾作用角度再次矯正工作狀態(tài)，從視覺(jué)閉環(huán)反饋和情緒閉環(huán)反饋兩個(gè)相互鍥合的角度，構(gòu)建出鼠標(biāo)標(biāo)識(shí)管控的基礎(chǔ)型反饋系統(tǒng)從而提高人機(jī)交互對(duì)鼠標(biāo)標(biāo)識(shí)的管控效能。

技術(shù)領(lǐng)域

本發(fā)明涉及通過(guò)生物電實(shí)現(xiàn)的人機(jī)交互控制領(lǐng)域，具體是指一種基于EOG信號(hào)的人機(jī)交互的閉環(huán)性鼠標(biāo)標(biāo)識(shí)控制系統(tǒng)，不僅能夠用于注意力水平訓(xùn)練，而且也能應(yīng)用于辦公文書操作等。

背景技術(shù)

目前通過(guò)生物電所實(shí)施的人機(jī)交互而實(shí)現(xiàn)鼠標(biāo)標(biāo)識(shí)控制方法比較多。例如本申請(qǐng)人于2019年11月28日提出的申請(qǐng)?zhí)枮?01911186189.7，名稱為“一種基于EOG信號(hào)和頭部姿態(tài)的驅(qū)動(dòng)裝置及驅(qū)動(dòng)方法”專利申請(qǐng)，披露了包括控制模塊及與控制模塊信號(hào)連接的信號(hào)采集模塊、顯示模塊，顯示模塊包括有顯示界面，顯示界面用于顯示特定標(biāo)識(shí)、操作部件的當(dāng)前位置，信號(hào)采集模塊用于采集用戶頭部的EOG信號(hào)和頭部姿態(tài)信號(hào)并將所采集的信號(hào)傳送給控制模塊；控制模塊用于對(duì)信號(hào)采集模塊所采集的用戶頭部移動(dòng)的姿態(tài)信號(hào)進(jìn)行特征識(shí)別，并根據(jù)識(shí)別結(jié)果驅(qū)動(dòng)特定標(biāo)識(shí)在顯示界面中移動(dòng)到目標(biāo)坐標(biāo)位置捕捉操作部件；控制模塊還用于對(duì)信號(hào)采集模塊所采集的EOG信號(hào)進(jìn)行特征識(shí)別，根據(jù)識(shí)別結(jié)果確認(rèn)對(duì)特定標(biāo)識(shí)所捕捉的操作部件的當(dāng)前操作及其操作類型。其次，申請(qǐng)?zhí)枮?02010834455.9，名稱為“一種基于手勢(shì)識(shí)別的鼠標(biāo)標(biāo)識(shí)光標(biāo)控制方法”，也披露了對(duì)采集到的用戶手勢(shì)視頻數(shù)據(jù)進(jìn)行信號(hào)處理并轉(zhuǎn)化為光標(biāo)的位置,從而能夠靈活地控制鼠標(biāo)標(biāo)識(shí)移動(dòng)到屏幕上的任何位置。該方案基于手勢(shì)識(shí)別實(shí)現(xiàn)，只涉及鼠標(biāo)標(biāo)識(shí)光標(biāo)的移動(dòng)，而鼠標(biāo)標(biāo)識(shí)具體的點(diǎn)擊、雙擊、左鍵等功能均沒(méi)有涉及。這種控制方法過(guò)于簡(jiǎn)單而且維度單一，不適用于在有多維控制需求的人機(jī)交互設(shè)備上使用。

發(fā)明內(nèi)容

對(duì)于通過(guò)生物電所實(shí)施的人機(jī)交互而實(shí)現(xiàn)鼠標(biāo)標(biāo)識(shí)控制，顯然利用的主要因素在于生物電信號(hào)。由于顯示在屏幕中的作業(yè)環(huán)境本身不僅內(nèi)容多而且功能需求多進(jìn)而要求鼠標(biāo)標(biāo)識(shí)必須精細(xì)操作，而且生物電信號(hào)本身又容易受到辦公環(huán)境各種噪音和操作者個(gè)人心情的影響，為此導(dǎo)致利用生物電操控鼠標(biāo)標(biāo)識(shí)是一件非常不容易的事情。如果操作人員的視覺(jué)不佳就會(huì)在人機(jī)交互中出現(xiàn)工作效能低下的惡性循環(huán)后果。為了提高利用生物電信號(hào)操控鼠標(biāo)的效能，本發(fā)明提出一種人機(jī)交互的閉環(huán)性鼠標(biāo)標(biāo)識(shí)控制系統(tǒng)，包括控制模塊和顯示器，所述顯示器用于顯示所述控制模塊所管控的人機(jī)交互顯示信號(hào)，所述人機(jī)交互顯示信號(hào)包括鼠標(biāo)標(biāo)識(shí)；其特征在于，還包括與所述控制模塊信號(hào)連接的運(yùn)動(dòng)方向拾取模塊、眼電（EOG）信號(hào)拾取模塊及腦電（EEG）信號(hào)拾取模塊；其中，所述運(yùn)動(dòng)方向拾取模塊，被布置為拾取表達(dá)鼠標(biāo)標(biāo)識(shí)運(yùn)動(dòng)方向控制意圖的身體運(yùn)動(dòng)方向信號(hào)并基于所拾取的身體運(yùn)動(dòng)方向信號(hào)計(jì)算并輸出運(yùn)動(dòng)方向控制指令給所述控制模塊，所述控制模塊用于響應(yīng)所述運(yùn)動(dòng)方向控制指令而控制所述鼠標(biāo)標(biāo)識(shí)在所述顯示器中的運(yùn)動(dòng)及其運(yùn)動(dòng)方向；所述眼電（EOG）信號(hào)拾取模塊，被布置為拾取表達(dá)鼠標(biāo)標(biāo)識(shí)操作意圖的眨眼信號(hào)并基于所拾取的眨眼信號(hào)計(jì)算并輸出鼠標(biāo)標(biāo)識(shí)操作指令給所述控制模塊；所述腦電（EEG）信號(hào)拾取模塊，被布置為拾取腦電（EEG）信號(hào)并基于所拾取的腦電（EEG）信號(hào)計(jì)算并輸出表征大腦注意力水平的注意力水平信號(hào)給所述控制模塊，所述控制模塊用于管控所述顯示器同步顯示反饋?zhàn)⒁饬λ侥M信號(hào)值，并在所述注意力水平模擬信號(hào)值大于模擬閾值時(shí)，響應(yīng)所述鼠標(biāo)標(biāo)識(shí)操作指令允許形成所述鼠標(biāo)標(biāo)識(shí)的操作。

其中，所述注意力水平信號(hào)，是一種提取于精神集中時(shí)期相對(duì)于精神非集中階段的腦電信號(hào)并通過(guò)構(gòu)建支持向量機(jī)SVM分類器計(jì)算得到數(shù)據(jù)，該數(shù)據(jù)在顯示或標(biāo)定時(shí)，可以通過(guò)模擬數(shù)值來(lái)體現(xiàn)例如0～1數(shù)值段，數(shù)值越高說(shuō)明注意力水平越高，或者在屏幕中通過(guò)一段顏色顯示條標(biāo)識(shí)。這些技術(shù)可以參考申請(qǐng)?zhí)枮?01911167595.9所披露的內(nèi)容。而所述模擬閾值，是指在設(shè)計(jì)具體產(chǎn)品和系統(tǒng)時(shí)在所述控制模塊中所設(shè)定的一個(gè)參考數(shù)值，用于信號(hào)比較或過(guò)濾。