[發明專利]基于增強現實技術的孤獨癥兒童注意力訓練系統

在審

• 申請號: 201811358455.5
• 申請日: 2018-11-15
• 公開（公告）號: CN109550233A
• 公開（公告）日: 2019-04-02
• 發明（設計）人: 禹東川;繆佳;宋文凱
• 申請（專利權）人: 東南大學
• 主分類號: A63F13/214
• 分類號: A63F13/214;A63F13/42;G06T19/00
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 葛瀟敏

1.基于增強現實技術的孤獨癥兒童注意力訓練系統，其特征在于：該系統包括客戶端與服務端；

所述客戶端包括：注冊/登錄模塊、數據采集模塊、目標識別與追蹤模塊、注意力訓練模塊、數據接口模塊、用戶權限與數據管理模塊；

所述注冊/登錄模塊，用于提供訓練者首次使用時注冊賬號，并提供訓練者在客戶端使用注冊成功的賬號登陸；

所述數據采集模塊，用于采集訓練者的圖像數據，并把采集的數據轉換為方便計算的格式，傳送給目標識別與追蹤模塊；

所述目標識別與追蹤模塊，用于識別和追蹤訓練者軀體，并根據訓練者的手掌信息創建虛擬手掌信息；將訓練者軀體和虛擬手掌信息反饋至注意力訓練模塊；

所述注意力訓練模塊，用于為登陸成功的訓練者提供特定的訓練任務，并將目標識別與追蹤模塊傳送的訓練者軀體與任務的場景進行融合渲染；根據虛擬手掌信息生成訓練時需要的道具完成與訓練場景的交互，訓練任務完成后對完成情況打分；

所述用戶權限與數據管理模塊，用于保存訓練者的訓練得分，并供通過注冊/登錄模塊登陸成功的訓練者查詢歷史訓練得分；

所述數據接口模塊，用于上傳訓練得分至服務端，并在訓練者查詢歷史訓練得分時，向服務端發送查詢請求，并將服務端下發的歷史訓練得分送至用戶權限與數據管理模塊。

2.根據權利要求1所述的基于增強現實技術的孤獨癥兒童注意力訓練系統，其特征在于：訓練系統采用C/S三層架構，客戶端通過HTTP請求與服務端通信。

3.根據權利要求1所述的基于增強現實技術的孤獨癥兒童注意力訓練系統，其特征在于：所述客戶端軟件采用Unity3D作為開發平臺。

4.根據權利要求1所述的基于增強現實技術的孤獨癥兒童注意力訓練系統，其特征在于：所述的數據采集模塊采用Kinect傳感器，利用Kinect傳感器采集深度圖像和RGB彩色數據。

5.根據權利要求4所述的基于增強現實技術的孤獨癥兒童注意力訓練系統，其特征在于：所述目標識別與追蹤模塊利用基于人體索引的人體目標檢測識別算法識別人體軀體，根據深度圖像獲取像素點的深度距離和索引值，對深度圖像中值濾波，根據深度距離設定深度閾值范圍，深度圖像二值化后，將深度閾值范圍內的像素值賦值255，判定在設定深度閾值范圍內索引值為1-6的像素點為人體像素點，即為人體軀體。

6.根據權利要求5所述的基于增強現實技術的孤獨癥兒童注意力訓練系統，其特征在于：所述目標識別與追蹤模塊對識別的人體軀體進行自適應距離分層處理，對每一層人體軀體進行標記，訓練過程中訓練者為第一層。

7.根據權利要求6所述的基于增強現實技術的孤獨癥兒童注意力訓練系統，其特征在于；所述目標識別與追蹤模塊創建包含訓練者手掌信息的矩形包圍盒，在矩形包圍盒內以手心坐標開始向鄰域遍歷像素，選擇屬于手部區域的像素創建二值圖，根據手部區域的二值圖，得到包含所有手部像素的最小圓，該最小的圓為訓練者的虛擬手掌信息，并得到圓的坐標和圓的半徑。