[發明專利]基于虛擬、混合現實的針灸互動教學系統和方法

有效

• 申請號: 202011262522.0
• 申請日: 2020-11-12
• 公開（公告）號: CN112258921B
• 公開（公告）日: 2023-06-16
• 發明（設計）人: 胡玥
• 申請（專利權）人: 胡玥
• 主分類號: G09B9/00
• 分類號: G09B9/00;G09B5/14;G09B7/02;G06T19/00;G06T19/20
• 代理公司: 武漢聚信匯智知識產權代理有限公司 42258
• 代理人: 劉丹

1.基于虛擬、混合現實的針灸互動教學系統，其特征在于，包括：數據建立模塊、教學互動模塊、練習模塊和考試模塊；

數據建立模塊，用于建立教學數據，并將教學數據分別傳輸到所述教學互動模塊、所述練習模塊和所述考試模塊；

其中，所述數據建立模塊包括數據錄入單元、模型生成單元和坐標生成單元，所述數據錄入單元用于采集虛擬人體數據和真人模特的人體數據，并將采集到的人體數據傳輸到模型生成單元，所述模型生成單元用于接收所述數據錄入單元傳輸的人體數據，并生成虛擬的人體結構數據三維模型，所述模型生成單元還用于將真人模特的人體數據與虛擬人體數據進行映射融合，將虛擬人體結構數據模型傳輸到所述坐標生成單元，所述坐標生成單元用于接收模型生成單元輸出的虛擬人體結構數據模型并根據虛擬的人體結構數據三維模型構建出一個虛擬空間和與虛擬空間對應的坐標數據，形成教學數據，所述坐標生成單元還用于將教學數據傳輸到所述教學互動模塊；

所述數據錄入單元采集的虛擬人體數據包括人體的全部人體內外部的組織結構數據和人體穴位數據，所述數據錄入單元采集的真人人體數據包括圖像數據；

教學互動模塊，用于接收所述數據建立模塊傳輸的教學數據，并采集教師和學生的數據，將采集的教師和學生的數據與教學數據進行融合，同時還用于展示教學數據，得到講解數據，并將講解數據傳輸到所述練習模塊；

其中，所述教學互動模塊包括第一采集單元、第一融合單元、第一追蹤單元、第一虛擬單元、展示單元和第一同步單元，所述第一虛擬單元用于虛擬針灸針，所述第一采集單元用于采集教學數據，所述第一采集單元還用于采集教師的身體坐標數據和語音數據，并將身體坐標數據傳輸到第一融合單元，所述第一融合單元用于接收所述第一采集單元傳輸的身體坐標數據并將身體坐標數據與教學數據進行映射融合，并將融合后的數據傳輸到第一追蹤單元，所述第一追蹤單元用于接收所述第一融合單元傳輸的數據并對關鍵點進行追蹤，所述第一追蹤單元還用于將虛擬針灸針與關鍵點進行融合，并追蹤針灸針的運動數據，得到追蹤數據，并將追蹤數據傳輸到所述展示單元，所述展示單元用于接收所述第一追蹤單元傳輸的追蹤數據并進行展示和講解，生成講解數據，所述展示單元還用于將講解數據傳輸到第一同步單元，所述第一同步單元用于接收展示單元傳輸的講解數據并傳輸至所述練習模塊；

所述展示單元還用于對教學數據中虛擬人體進行旋轉、?翻轉、?切片觀察、隱藏和顯示人體部位；

練習模塊，用于接收所述教學互動模塊傳輸的講解數據，還用于接收所述數據建立模塊傳輸的教學數據，并采集學生的數據，將采集的學生的數據與教學數據進行融合，同時對學生的操作進行追蹤并實時反饋和評價；

所述練習模塊包括第二同步單元、第二采集單元、第二虛擬單元、第二融合單元、第二追蹤單元、第一數據收集單元、第一比對單元、第一判斷單元、反饋單元和第一評價單元，所述第二同步單元用于接收所述教學互動模塊傳輸的講解數據并對學生進行展示，所述第二虛擬單元用于虛擬針灸針，所述第二采集單元用于采集教學數據，所述第二采集單元還用于采集學生的身體坐標數據，并將身體坐標數據傳輸到第二融合單元，所述第二融合單元用于接收所述第二采集單元傳輸的身體坐標數據并將身體坐標數據與教學數據進行映射融合，并將融合后的數據傳輸到第二追蹤單元，所述第二追蹤單元用于接收所述第二融合單元傳輸的數據并對關鍵點進行追蹤，所述第二追蹤單元還用于將虛擬針灸針與關鍵點進行融合，并追蹤針灸針的運動數據，得到追蹤數據，并將追蹤數據傳輸到所述第一數據收集單元，所述第一數據收集單元對追蹤數據進行采集，將采集的數據發送到所述第一比對單元，所述第一比對單元預設有標準動作數據，所述第一比對單元將數據與標準動作數據進行比對，將結果發送至所述第一判斷單元，所述第一判斷單元根據比對結果進行判斷，得到判斷結果，將判斷結果發送至所述反饋單元，所述反饋單元根據判斷結果發出反饋信息；

所述第二追蹤單元得到的追蹤數據包括針灸針的位置數據、角度數據、旋轉角度數據和力度數據，所述第一比對單元預設的標準動作數據包括標準的針灸針的位置數據、標準的角度數據、標準的旋轉角度數據和標準的力度數據，所述反饋單元發出反饋信息包括實時力度反饋、時長反饋、聲音反饋、燈光效果反饋和虛擬人體實時治療效果反饋，所述第二同步單元的展示方式為影像和聲音，所述第二融合單元映射融合后的數據中內的關鍵點包括學生手部的坐標數據；

所述反饋單元根據判斷結果，將針灸針的位置、角度、幅度，以輔助線進行提示，并且以顏色作為區分：紅色代表錯誤、橙色代表偏差過大、黃色代表接近正確、綠色代表正確，而力度、時長等，用輔助圖標提示，力度用一個代表力量的進度條表示，時長用一個倒計時時鐘表示，同時還進行聲音、力度反饋、燈光效果等進行提醒，根據針灸方式的正確性，反饋出病人好轉的流轉過程；

考試模塊，用于錄入考試試題數據，還用于接收所述數據建立模塊傳輸的教學數據，并采集學生的數據，將采集的學生的數據與教學數據進行融合，同時對學生的操作進行追蹤，對學生的操作進行評價并輸出。