[發(fā)明專利]一種虛擬鍵盤操作裝置、系統(tǒng)及方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201410436989.0
• 申請(qǐng)日: 2014-08-29
• 公開（公告）號(hào): CN104199550B
• 公開（公告）日: 2017-05-17
• 發(fā)明（設(shè)計(jì)）人: 廖裕民
• 申請(qǐng)（專利權(quán)）人: 福州瑞芯微電子股份有限公司
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01;G06F3/042
• 代理公司: 福州市景弘專利代理事務(wù)所(普通合伙)35219
• 代理人: 林祥翔,呂元輝

1.一種人機(jī)交互式虛擬觸控裝置，包括顯示控制單元與顯示單元，其特征在于，所述裝置包括：

視圖識(shí)別單元，用于對(duì)攝像頭采集的用戶手指的圖像數(shù)據(jù)進(jìn)行手部識(shí)別，以確定手指端點(diǎn)在圖像中的位置；

水平面二維坐標(biāo)建立單元，用于根據(jù)所述視圖識(shí)別單元識(shí)別出的手指端點(diǎn)位置在圖像中的位置與攝像頭的像素解析度，將手指端點(diǎn)像素位置轉(zhuǎn)換為XZ坐標(biāo)面的二維坐標(biāo)值；

垂直面二維坐標(biāo)建立單元，用于根據(jù)所述視圖識(shí)別單元識(shí)別出的手指端點(diǎn)位置在圖像中的位置與攝像頭的像素解析度，將手指端點(diǎn)像素位置轉(zhuǎn)換為YZ坐標(biāo)面的二維坐標(biāo)值；

三維坐標(biāo)計(jì)算單元，用于根據(jù)所述水平面二維坐標(biāo)建立單元和所述垂直面二維坐標(biāo)建立單元分別確定的手指端點(diǎn)像素位置在XZ坐標(biāo)面和YZ坐標(biāo)面的二維坐標(biāo)值計(jì)算手指端點(diǎn)在XYZ三維坐標(biāo)系中的坐標(biāo)值；所述三維坐標(biāo)系的Z坐標(biāo)值為XZ坐標(biāo)面的坐標(biāo)Z值和YZ坐標(biāo)面的坐標(biāo)Z值的平均值，三維坐標(biāo)系的X坐標(biāo)值為XZ坐標(biāo)面的X坐標(biāo)值，三維坐標(biāo)系的Y坐標(biāo)值為YZ坐標(biāo)面的Y坐標(biāo)值；

動(dòng)作判斷單元，用于根據(jù)所述三維坐標(biāo)計(jì)算單元計(jì)算的手指端點(diǎn)的三維坐標(biāo)值與虛擬鍵盤每個(gè)鍵位對(duì)應(yīng)的位置區(qū)域，判斷用戶對(duì)虛擬鍵盤鍵位的操作；還用于在手部位置初始化階段時(shí)根據(jù)手指端點(diǎn)的三維坐標(biāo)值中垂直方向的最低端點(diǎn)作為點(diǎn)擊判定平面Y軸值，把手指端點(diǎn)的三維坐標(biāo)值映射到虛擬鍵盤每個(gè)按鍵區(qū)域上，并根據(jù)每個(gè)手指端點(diǎn)落在對(duì)應(yīng)的按鍵區(qū)域確定被選中按鍵，從而確定鍵位信息；以及

圖形繪制單元，用于根據(jù)所述動(dòng)作判斷單元的判斷結(jié)果繪制出模擬用戶手指在虛擬鍵盤對(duì)應(yīng)鍵位的操作圖像，并調(diào)用所述顯示控制單元控制所述顯示單元顯示所述操作圖像。

2.如權(quán)利要求1所述的人機(jī)交互式虛擬觸控裝置，其特征在于，還包括環(huán)境亮度傳感單元，用于感應(yīng)環(huán)境的亮度值；

所述視圖識(shí)別單元包括：

縱向視圖識(shí)別子單元，用于根據(jù)所述環(huán)境亮度傳感單元偵測(cè)到的環(huán)境亮度值判斷使用普通攝像頭還是紅外攝像頭，并當(dāng)確定使用的攝像頭后對(duì)縱向視圖識(shí)別子單元采集的圖像數(shù)據(jù)進(jìn)行手部識(shí)別，以確定在XZ坐標(biāo)面的手指端點(diǎn)像素在圖像中的位置；以及

橫向視圖識(shí)別子單元，用于根據(jù)所述環(huán)境亮度傳感單元偵測(cè)到的環(huán)境亮度值判斷使用普通攝像頭還是紅外攝像頭，并當(dāng)確定使用的攝像頭后對(duì)橫向視圖識(shí)別子單元采集的圖像數(shù)據(jù)進(jìn)行手部識(shí)別，以確定在YZ坐標(biāo)面的手指端點(diǎn)像素在圖像中的位置。

3.如權(quán)利要求1所述的人機(jī)交互式虛擬觸控裝置，其特征在于，所述水平面二維坐標(biāo)建立單元將手指端點(diǎn)像素位置轉(zhuǎn)換為XZ坐標(biāo)面的二維坐標(biāo)值，以及所述垂直面二維坐標(biāo)建立單元將手指端點(diǎn)像素位置轉(zhuǎn)換為YZ坐標(biāo)面的二維坐標(biāo)值，具體為：將圖像左下角像素點(diǎn)設(shè)置為二維坐標(biāo)系的起始點(diǎn)0，根據(jù)圖像解析度和轉(zhuǎn)換為二維坐標(biāo)后的坐標(biāo)值范圍計(jì)算出坐標(biāo)值范圍相對(duì)每個(gè)圖像的行數(shù)和列數(shù)的比例。

4.如權(quán)利要求1所述的人機(jī)交互式虛擬觸控裝置，其特征在于，所述動(dòng)作判斷單元將手指端點(diǎn)的三維坐標(biāo)值映射到虛擬鍵盤的按鍵區(qū)域上，具體為：虛擬鍵盤中每個(gè)按鍵在XZ平面上有對(duì)應(yīng)鍵位的二維坐標(biāo)區(qū)域范圍，當(dāng)確定手指端點(diǎn)的XZ坐標(biāo)值落入所述坐標(biāo)區(qū)域范圍時(shí)判定用戶的手指端點(diǎn)處于對(duì)應(yīng)鍵位的上方。

5.如權(quán)利要求4所述的人機(jī)交互式虛擬觸控裝置，其特征在于，所述動(dòng)作判斷單元根據(jù)手指端點(diǎn)的三維坐標(biāo)值判斷點(diǎn)擊動(dòng)作，具體為：當(dāng)選定點(diǎn)擊判定平面Y軸值后，當(dāng)手指端點(diǎn)三維坐標(biāo)中的Y值低于所述點(diǎn)擊判定平面Y軸值時(shí)，則判定所述手指端點(diǎn)穿越了所述點(diǎn)擊判定平面，并結(jié)合手指端點(diǎn)落入的鍵位坐標(biāo)區(qū)域范圍判斷用戶最終進(jìn)行點(diǎn)擊操作的按鍵。

6.一種人機(jī)交互式虛擬觸控系統(tǒng)，其特征在于，包括如權(quán)利要求1-5任意一項(xiàng)所述的人機(jī)交互式虛擬觸控裝置以及與所述裝置通信連接的兩個(gè)攝像設(shè)備。

7.如權(quán)利要求6所述的人機(jī)交互式虛擬觸控系統(tǒng)，其特征在于，所述攝像設(shè)備包括第一攝像頭以及第二攝像頭，所述第一攝像頭作為縱向攝像設(shè)備，所述第二攝像頭作為橫向攝像設(shè)備，第一攝像頭與第二攝像頭的攝像方向設(shè)置為互相垂直。

8.如權(quán)利要求7所述的人機(jī)交互式虛擬觸控系統(tǒng)，其特征在于，所述第一攝像頭為普通攝像頭，所述第二攝像頭為紅外攝像頭。