[發(fā)明專利]手勢(shì)動(dòng)作識(shí)別方法、裝置、設(shè)備及可讀存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201911423270.2
• 申請(qǐng)日: 2019-12-30
• 公開（公告）號(hào): CN111160308B
• 公開（公告）日: 2023-09-12
• 發(fā)明（設(shè)計(jì)）人: 楊思洋
• 申請(qǐng)（專利權(quán)）人: 深圳新秦科技有限公司
• 主分類號(hào): G06V40/20
• 分類號(hào): G06V40/20;G06V10/44;G06V10/74;G06V10/80;G06V10/42
• 代理公司: 深圳市恒程創(chuàng)新知識(shí)產(chǎn)權(quán)代理有限公司 44542
• 代理人: 張小容

本發(fā)明公開了一種手勢(shì)動(dòng)作識(shí)別方法、裝置、設(shè)備及可讀存儲(chǔ)介質(zhì)，所述手勢(shì)動(dòng)作識(shí)別方法通過(guò)讓用戶將手指指向特定區(qū)域以完成初始化校準(zhǔn)，避免了現(xiàn)有技術(shù)中要求使用者進(jìn)行的不自然的站位姿勢(shì)以及放慢手速的操作；通過(guò)初始手指向數(shù)據(jù)與特定坐標(biāo)數(shù)據(jù)計(jì)算出初始位移誤差，能夠?qū)F(xiàn)有技術(shù)中依賴于機(jī)器學(xué)習(xí)算法與高性能硬件設(shè)備才能計(jì)算出的手指的三維空間位移誤差簡(jiǎn)化為二維平面上的簡(jiǎn)單計(jì)算，極大減少了計(jì)算量，同時(shí)也降低了對(duì)硬件攝像頭的性能的要求；通過(guò)結(jié)合初始位移誤差與預(yù)設(shè)多模態(tài)特征抽取算法進(jìn)行手勢(shì)識(shí)別，將現(xiàn)有技術(shù)中對(duì)整個(gè)手掌進(jìn)行識(shí)別的過(guò)程簡(jiǎn)化為對(duì)手指的追蹤識(shí)別，極大簡(jiǎn)化了計(jì)算過(guò)程，降低了對(duì)圖像識(shí)別算法的硬件及計(jì)算能力的要求。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種手勢(shì)動(dòng)作識(shí)別方法、裝置、設(shè)備及可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著科學(xué)技術(shù)的迅速發(fā)展，手勢(shì)檢測(cè)及手勢(shì)追蹤技術(shù)是目前圖像識(shí)別、智能化教育等領(lǐng)域中的一個(gè)熱門研究課題。目前的依賴于機(jī)器學(xué)習(xí)的手勢(shì)動(dòng)作識(shí)別算法，其計(jì)算量大且復(fù)雜度高，且高度依賴于高速網(wǎng)絡(luò)與高性能攝像頭的配合。若采用此類方法時(shí)網(wǎng)速不佳或是出于離線狀態(tài)，將會(huì)嚴(yán)重影響對(duì)當(dāng)前手勢(shì)動(dòng)作的識(shí)別性能；且針對(duì)分辨難度較高的快速手勢(shì)動(dòng)作與彎曲手勢(shì)動(dòng)作，也需依賴多個(gè)多角度多深度的攝像頭，從而導(dǎo)致了現(xiàn)有的指讀系統(tǒng)對(duì)硬件與網(wǎng)速要求過(guò)高的技術(shù)問(wèn)題。

上述內(nèi)容僅用于輔助理解本發(fā)明的技術(shù)方案，并不代表承認(rèn)上述內(nèi)容是現(xiàn)有技術(shù)。

發(fā)明內(nèi)容

本發(fā)明的主要目的在于提供一種手勢(shì)動(dòng)作識(shí)別方法，旨在解決現(xiàn)有的指讀系統(tǒng)對(duì)硬件與網(wǎng)速要求過(guò)高的技術(shù)問(wèn)題。

為實(shí)現(xiàn)上述目的，本發(fā)明提供一種手勢(shì)動(dòng)作識(shí)別方法，所述手勢(shì)動(dòng)作識(shí)別方法應(yīng)用于手勢(shì)動(dòng)作識(shí)別設(shè)備，所述手勢(shì)動(dòng)作識(shí)別方法包括以下步驟：

當(dāng)檢測(cè)到目標(biāo)手指指向預(yù)設(shè)攝像設(shè)備檢測(cè)范圍內(nèi)書本的特定區(qū)域時(shí)，基于預(yù)設(shè)多模態(tài)特征抽取算法對(duì)目標(biāo)手指進(jìn)行邊緣檢測(cè)；

將所述目標(biāo)手指的邊緣檢測(cè)結(jié)果與預(yù)設(shè)手指模型進(jìn)行匹配，構(gòu)建所述目標(biāo)手指對(duì)應(yīng)的實(shí)時(shí)手指幾何模型；

獲取所述實(shí)時(shí)手指幾何模型中所述目標(biāo)手指的初始指向數(shù)據(jù)，將所述初始指向數(shù)據(jù)與所述特定區(qū)域的特定坐標(biāo)數(shù)據(jù)進(jìn)行匹配，生成初始位移誤差；

基于所述實(shí)時(shí)手指幾何模型、預(yù)設(shè)多模態(tài)特征抽取算法與初始位移誤差，識(shí)別所述目標(biāo)手指的指向變化，以供預(yù)設(shè)指讀設(shè)備基于指向識(shí)別結(jié)果對(duì)目標(biāo)手指的指向做出響應(yīng)。

可選地，所述當(dāng)檢測(cè)到目標(biāo)手指指向預(yù)設(shè)攝像設(shè)備檢測(cè)范圍內(nèi)書本的特定區(qū)域時(shí)，基于預(yù)設(shè)多模態(tài)特征抽取算法對(duì)目標(biāo)手指進(jìn)行邊緣檢測(cè)的步驟包括：

當(dāng)檢測(cè)到所述目標(biāo)手指指向當(dāng)前所使用教材的頁(yè)碼時(shí)，基于所述預(yù)設(shè)指讀設(shè)備中的攝像頭獲取初始指向圖像；

使用所述預(yù)設(shè)多模態(tài)特征抽取算法對(duì)所述初始指向圖像中的目標(biāo)手指進(jìn)行邊緣檢測(cè)。

可選地，所述獲取所述實(shí)時(shí)手指幾何模型中所述目標(biāo)手指的初始指向數(shù)據(jù)的步驟之前，還包括：

將所述實(shí)時(shí)手指幾何模型與預(yù)設(shè)二維平面坐標(biāo)系相匹配，以確定所述實(shí)時(shí)手指幾何模型中所述目標(biāo)手指對(duì)應(yīng)在所述預(yù)設(shè)二維平面坐標(biāo)系上的初始指向坐標(biāo)數(shù)據(jù)。

可選地，所述將所述初始指向數(shù)據(jù)與所述特定區(qū)域的特定坐標(biāo)數(shù)據(jù)進(jìn)行匹配，生成初始位移誤差的步驟包括：

獲取所述頁(yè)碼在所述預(yù)設(shè)二維平面坐標(biāo)系上的特定坐標(biāo)數(shù)據(jù)；

將所述初始指向數(shù)據(jù)與特定坐標(biāo)數(shù)據(jù)進(jìn)行匹配，生成所述初始位移誤差。

可選地，所述基于所述實(shí)時(shí)手指幾何模型、預(yù)設(shè)多模態(tài)特征抽取算法與初始位移誤差，識(shí)別所述目標(biāo)手指的指向變化，以供預(yù)設(shè)指讀設(shè)備基于指向識(shí)別結(jié)果對(duì)目標(biāo)手指的指向做出響應(yīng)的步驟包括：