[發明專利]以AR技術為基礎應用于認知功能評估的肢體動作識別方法

在審

• 申請號: 201910797200.7
• 申請日: 2019-08-27
• 公開（公告）號: CN110503056A
• 公開（公告）日: 2019-11-26
• 發明（設計）人: 柴高尚;劉彥麟;汪雪純;蔣志倩;周佳麗;易海燕
• 申請（專利權）人: 江南大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T19/00;G16H30/40
• 代理公司: 32257 蘇州市中南偉業知識產權代理事務所(普通合伙)
• 代理人: 馮瑞<國際申請>=<國際公布>=<進入國

1.一種以AR技術為基礎應用于認知功能評估的肢體動作識別方法，其特征在于，包括：建立數據庫、動作捕捉與分析兩部分；

建立數據庫：

選取阿爾茨海默病評定量表-認知分量表中“指令”部分作為測試內容；

進行動作數據采集，采集兩套數據；其中，第一套數據為標準數據和第二套數據為模仿數據；

檢測并過濾異常數據；首先利用基于閾值的方法對異常數據進行檢測，根據先驗知識或者是與統計的方法相結合選定閾值，超過閾值的數據視為異常數據；

選用Unity 3D進行動作數據的預覽；首先將事先準備好的人形模型(FBX格式)導入Unity 3D中；模型包含骨架、蒙皮和Avatar三個部分，導入后將動畫類型改為人形動畫，然后設置模型關節點。接著創建自定義骨架，最后是傳輸運動數據，即將處理后的運動數據加載至一個二維數組中，然后每一幀傳遞數組的一列數據至自定義的骨架中進行預覽。

經預覽后將符合要求的動作數據儲存入數據庫中；

動作捕捉與分析：

首先利用設備攝像頭采用實時圖像采集方法對使用者進行人物動態圖像采集，提取動態人物圖像的三維動作流形矢量，對動作特征點進行自適應匹配；

結合三維動作特征點的流形分割方法，得到使用者的人物動作重構的動態特征量，在人物動態成像的成像區域進行三維動作流形分解，得到人物動作的實時捕捉先驗信息；

采用三維動態跟蹤識別方法進行人物動作的動態圖像特征提取，對采集的人物動態圖像進行動作特征點定位，在邊緣幀不變的約束條件下，采用AR虛擬現實技術進行人物動態圖像的包絡輪廓分割；

在人體動態變化下，得到動作向量的集合描述；在仿射不變區域內，根據人體的動作特征進行動態圖像的AR重構，得到灰度像素范圍區域中的人體動作特征捕捉的銜接動作向量；

根據圖像像素跟蹤點進行人物動態圖像的角點檢測，得到人物AR動態圖像的三維動作捕捉分析圖；

根據對人物動作捕捉的識別結果，繪制反應人物動作特征的灰度直方圖，采用自適應深度學習算法得到提取人物動作捕捉特征量，實現對使用者的人物動態圖像三維虛擬成像重構和動作的實時捕捉；

與數據庫中動作數據進行匹配與分析，根據符合程度對使用者的動作進行評分。

2.如權利要求1所述的以AR技術為基礎應用于認知功能評估的肢體動作識別方法，其特征在于，“選取阿爾茨海默病評定量表-認知分量表中“指令”部分作為測試內容；”中包含的動作有“握拳”、“指天花板，然后指地板”、“用一只手的兩個手指在自己每一邊的肩膀上各拍兩下，同時要一直閉著眼睛”。

3.如權利要求1所述的以AR技術為基礎應用于認知功能評估的肢體動作識別方法，其特征在于，第一套數據為標準數據具體包括“由5位專業人員進行采集，即以上三部分動作，每部分動作完成2次，共30個樣本”。

4.如權利要求1所述的以AR技術為基礎應用于認知功能評估的肢體動作識別方法，其特征在于，第二套數據為模仿數據具體包括“由20位認知功能正常的老年志愿者提供，每部分動作完成3次，共180個樣本；自定義關節點包括手雙手所有指骨指遠節、雙手掌心、雙肩”。

5.如權利要求1所述的以AR技術為基礎應用于認知功能評估的肢體動作識別方法，其特征在于，其中雙手掌心為根關節。

6.如權利要求1所述的以AR技術為基礎應用于認知功能評估的肢體動作識別方法，其特征在于，以上采集的兩種動作數據集存儲時每個骨架包含14個關節。

7.如權利要求1所述的以AR技術為基礎應用于認知功能評估的肢體動作識別方法，其特征在于，基于OptiTrack數據采集設備進行動作數據采集。

8.一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現權利要求1到7任一項所述方法的步驟。