[發明專利]一種基于多特征融合的手指靈活檢測方法

在審

• 申請號: 202110722226.2
• 申請日: 2021-06-28
• 公開（公告）號: CN113378772A
• 公開（公告）日: 2021-09-10
• 發明（設計）人: 金海燕;任嚴;潘志庚;肖照林
• 申請（專利權）人: 西安理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 西安弘理專利事務所 61214
• 代理人: 韓玙

1.一種基于多特征融合的手指靈活性的檢測方法，其特征在于，包括以下步驟：

步驟1、利用RGB相機拍攝正常人和有手部功能障礙的人在設計好的游戲環境下運動的敲擊鍵盤的手部運動視頻；

步驟2、在手指運動的同時記錄下手指敲擊鍵盤的時間序列并根據時間序列得到手指敲擊鍵盤前后瞬間的視頻幀集合；

步驟3、將采集到的視頻分別提取成圖像，將提取的圖像作為輸入數據輸入到OpenPose中得到手部關節的坐標點集合；

步驟4、根據步驟2和步驟3得到的結果，計算正常人和有手部功能障礙人的手部手指運動的角速度；

步驟5、計算正常人和有手部功能障礙人敲擊鍵盤每個手指的準確率；

步驟6、將步驟4得到的角速度和步驟5得到的準確率融合，通過SVM訓練，得到手指靈活性檢測模型，判斷并分別出手部功能障礙的人群。

2.根據權利要求1所述一種基于多特征融合的手指靈活性的檢測方法，其特征在于，所述步驟2具體包括以下步驟：

步驟2.1、利用程序記錄RGB相機拍攝視頻開始的時間T_S和食指、中指、無名指、小指正確敲擊鍵盤瞬間的時間序列T_I、T_M、T_R、T_L，并存儲到MYSQL數據庫中；

步驟2.2、利用公式T_span＝T_I-T_S計算四個手指所對應的時間間隔；

步驟2.3、計算每個視頻幀相對于第一幀所對應的的時間間隔

步驟2.4、根據判斷和T_span是否相等，若相等，則將所對應的視頻幀加入到視頻幀集合I中；

步驟2.5、根據步驟2.4的方法求出食指、中指、無名指、小指敲擊鍵盤瞬間的視頻幀序列集合I_I、I_M、I_R、I_L；

步驟2.6、根據步驟2.5得到的視頻幀集合，從提取的視頻幀集合I_C中得到視頻幀I_i中每一幀所對應的前n幀,基于幀間差分的平均強度最大值的方法的到差分結果最大的視頻幀，作為敲擊鍵盤瞬間的前一時刻的視頻幀；

步驟2.7、重復步驟2.6得到食指、中指、無名指、小指的敲擊鍵盤瞬間的前一時刻的視頻幀I_IPro、I_MPro、I_RPro、I_LPro。

3.根據權利要求1所述一種基于多特征融合的手指靈活性的檢測方法，其特征在于，所述步驟3具體包括以下步驟：

步驟3.1、將所有拍攝的視頻提取成視頻幀集合I_C；

步驟3.2、將視頻幀集合I_C輸入到OpenPose中得到I_C中每一幀的手部關節點坐標，得到一個坐標點集合C。

4.根據權利要求1所述一種基于多特征融合的手指靈活性的檢測方法，其特征在于，所述步驟4具體包括以下步驟：

步驟4.1、根據I_I、I_IPro以及食指關節標記從集合C中得到食指關節的坐標點，并存在Excel中；

步驟4.2、重復步驟4.1得到中指、無名指、小指的坐標點；

步驟4.3、根據如下公式計算食指運動前后的角度變化；

其中θ為角度變化，(x₁,y₁)、(x₃,y₃)為掌指骨關節的坐標，(x₂,y₂)、(x₄,y₄)為遠端指骨關節坐標，π為圓周率；

步驟4.4、重復步驟4.3計算其他三個手指運動前后的角度變化；

步驟4.5、根據以下公式計算食指運動的角速度；

其中ω為角速度，θ為角度變化,i∈I_IPro、j∈I_I；

步驟4.6、重復步驟4.5計算其他三個手指的角速度；

步驟4.7、計算食指、中指、無名指、小指角速度的平均值。