[發明專利]一種基于AR和擬人化模型的脊柱手術教學培訓系統

有效

• 申請號: 202210736907.9
• 申請日: 2022-06-27
• 公開（公告）號: CN115035767B
• 公開（公告）日: 2023-06-09
• 發明（設計）人: 張煜;趙宇;毛寧波;王麗;賀謙;張傳睿;翟吉良
• 申請（專利權）人: 西安交通大學;中國醫學科學院北京協和醫院
• 主分類號: G09B9/00
• 分類號: G09B9/00;G06F3/01;G06Q50/20
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 王艾華

本發明提供一種基于AR和擬人化模型的脊柱手術教學培訓系統，該系統通過實操訓練平臺模擬手術教學培訓的物理環境，滿足培訓者手術實操訓練，實時自動化采集手術操作客觀數據；手術技能考核評價模塊將采集的客觀數據，通過考核評價模型對手術操作技能進行評價，對異常數據實時報警、反饋和扣分，通過云存儲和數據可視化長期跟蹤手術教學培訓情況；通過手術教學培訓增強現實交互模塊在實操訓練平臺上實時疊加顯示手術教學培訓內容及引導信息、操作反饋信息和考核評價信息。本發明提供培訓者實時自主交互教學引導，具有逼真的視覺與力反饋，自動化定量考核評價其手術操作技能水平并長期跟蹤，降低脊柱手術培訓成本，縮短脊柱手術培訓周期。

技術領域

本發明涉及醫療培訓領域，尤其涉及一種基于AR和擬人化模型的脊柱手術教學培訓系統。

背景技術

醫學模擬教育正成為醫療培訓領域行之有效的方法，傳統醫療培訓采用尸體、動物、教學模擬器具等進行脊柱手術教學培訓，尸體和動物存在成本高、數量少、儲存難和倫理等問題，而現有教學模擬器具與人體在真實感方面差異較大，其加工制作缺乏定制化要求。隨著新興技術的發展，現代醫學模擬教育廣泛采用計算機、VR、AR、MR、3D打印、傳感器等技術來彌補傳統教學培訓的缺點，相關系統有實物仿真模型培訓系統、虛擬仿真培訓系統和虛實結合仿真培訓系統。

增強現實(AR)技術是一種將虛擬信息與真實世界巧妙融合的技術，廣泛運用了多媒體、三維建模、實時跟蹤及注冊、智能交互、傳感等多種技術手段，將計算機生成的文字、圖像、三維模型、音樂、視頻等虛擬信息模擬仿真后，應用到真實世界中，兩種信息互為補充，從而實現對真實世界的“增強”。隨著微軟HoloLens2混合現實頭戴式顯示器的發布，AR技術在醫學培訓領域中的應用越來越廣泛，相較于傳統媒介，AR眼鏡能提供沉浸式的教學互動體驗。

3D打印技術(3DP)即快速成型技術的一種，又稱增材制造，它是一種以數字模型文件為基礎，運用粉末狀金屬或塑料等可粘合材料，通過逐層打印的方式來構造物體的技術。3D打印技術通過改變材料及其顏色、硬度、剛性，能模擬人體不同組織結構及其力學觸感，包括骨組織皮質松質骨、神經、血管、皮膚、肌肉等。3D打印技術因其可定制化、可實現復雜結構、快速復制等特點正深度應用于擬人化醫療模型制作。

現有的脊柱手術培訓系統中，實物仿真模型培訓系統缺少互動式教學體驗和定量的手術考核評價方法；虛擬仿真培訓系統缺少真實的力反饋；由于脊柱外科手術對精度與真實力反饋的高要求，兩者虛實結合是一種可行的方案，而國內外的虛實結合仿真培訓系統一般只包括骨組織和虛擬仿真平臺，逼真度一般，缺少教學互動與自主交互學習體驗，缺少自動化的定量考核評價方法，無法長期跟蹤評價培訓者手術操作技能水平。

發明內容

本發明的目的在于提供一種基于AR和擬人化模型的脊柱手術教學培訓系統，能夠對培訓者進行真實有效的手術教學培訓，實時教學引導，提供逼真的力反饋和訓練場景，增加手術動手操作機會，對其手術操作技能水平進行自動化定量的考核評價并長期跟蹤，降低脊柱手術培訓成本，縮短脊柱手術培訓周期。

本發明解決其技術問題所采用的技術方案是：

一種基于AR和擬人化模型的脊柱手術教學培訓系統，包括：實操訓練平臺、手術技能考核評價模塊和手術教學培訓增強現實交互模塊。實操訓練平臺模擬手術教學培訓的物理環境，培訓者使用手術器械在擬人化模型上模擬手術操作過程，實時采集手術器械與擬人化模型的位姿數據，并監測擬人化模型的壓力數據；手術技能考核評價模塊將實操訓練平臺采集的實物位姿數據與虛擬模型進行匹配，通過考核評價模型對手術操作技能進行評價，對異常數據實時報警、反饋和扣分，通過云存儲和數據可視化長期跟蹤手術教學培訓情況；手術教學培訓增強現實交互模塊在實操訓練平臺上實時疊加顯示手術教學培訓內容及引導信息、操作反饋信息和考核評價信息，培訓者查看這些信息調整手術操作以提升自身手術操作技能水平。