[發明專利]手勢動作識別方法、裝置、設備及可讀存儲介質

有效

• 申請號: 201911423270.2
• 申請日: 2019-12-30
• 公開（公告）號: CN111160308B
• 公開（公告）日: 2023-09-12
• 發明（設計）人: 楊思洋
• 申請（專利權）人: 深圳新秦科技有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/44;G06V10/74;G06V10/80;G06V10/42
• 代理公司: 深圳市恒程創新知識產權代理有限公司 44542
• 代理人: 張小容

1.一種手勢動作識別方法，其特征在于，所述手勢動作識別方法包括：

當檢測到目標手指指向預設攝像設備檢測范圍內書本的特定區域時，基于預設多模態特征抽取算法對目標手指進行邊緣檢測；

將所述目標手指的邊緣檢測結果與預設手指模型進行匹配，構建所述目標手指對應的實時手指幾何模型；

獲取所述實時手指幾何模型中所述目標手指的初始指向數據，將所述初始指向數據與所述特定區域的特定坐標數據進行匹配，生成初始位移誤差；

基于所述實時手指幾何模型、預設多模態特征抽取算法與初始位移誤差，識別所述目標手指的指向變化，以供預設指讀設備基于指向識別結果對目標手指的指向做出響應；

其中，所述基于所述實時手指幾何模型、預設多模態特征抽取算法與初始位移誤差，識別所述目標手指的指向變化，以供預設指讀設備基于指向識別結果對目標手指的指向做出響應的步驟包括：

在用戶將手指指向當前所使用教材中的目標文字區域時，基于指讀設備中的攝像頭獲取當前的目標手指圖像；

使用所述預設多模態特征抽取算法，對所述目標手指圖像進行局部方差計算，確定本輪迭代的全空間圖像特征；

自適應計算所述全空間圖像特征的局部方差的峰值所在的空間區域，并基于所述空間區域確定所述全空間圖像特征中的局部空間圖像特征；

將所述局部空間圖像特征從所述目標手指圖像中分離，將分離后的目標手指圖像作為下一輪迭代所需的初始圖像，并計算下一輪迭代的全空間圖像特征與局部空間圖像特征；

直至檢測到滿足預設收斂條件時，結束當前迭代過程，并基于迭代計算結果更新所述實時手指幾何模型，以基于更新后的實時手指幾何模型生成目標指向圖像；

基于所述目標指向圖像與初始位移誤差，確定實際指向坐標；

根據所述實際指向坐標確定所述目標文字區域，以供所述指讀設備語音朗讀以及翻譯所述目標文字區域。

2.如權利要求1所述的手勢動作識別方法，其特征在于，所述當檢測到目標手指指向預設攝像設備檢測范圍內書本的特定區域時，基于預設多模態特征抽取算法對目標手指進行邊緣檢測的步驟包括：

當檢測到所述目標手指指向當前所使用教材的頁碼時，基于所述預設指讀設備中的攝像頭獲取初始指向圖像；

使用所述預設多模態特征抽取算法對所述初始指向圖像中的目標手指進行邊緣檢測。

3.如權利要求2所述的手勢動作識別方法，其特征在于，所述獲取所述實時手指幾何模型中所述目標手指的初始指向數據的步驟之前，還包括：

將所述實時手指幾何模型與預設二維平面坐標系相匹配，以確定所述實時手指幾何模型中所述目標手指對應在所述預設二維平面坐標系上的初始指向坐標數據。

4.如權利要求3所述的手勢動作識別方法，其特征在于，所述將所述初始指向數據與所述特定區域的特定坐標數據進行匹配，生成初始位移誤差的步驟包括：

獲取所述頁碼在所述預設二維平面坐標系上的特定坐標數據；

將所述初始指向數據與特定坐標數據進行匹配，生成所述初始位移誤差。

5.如權利要求1所述的手勢動作識別方法，其特征在于，所述當檢測到目標手指指向預設攝像設備檢測范圍內書本的特定區域時，基于預設多模態特征抽取算法對目標手指進行邊緣檢測的步驟之前，還包括：

對結合所述指讀設備所使用的書本的內容進行數碼化匹配。