[發明專利]骨骼模型修正方法和裝置

有效

• 申請號: 202210568530.0
• 申請日: 2022-05-24
• 公開（公告）號: CN114663432B
• 公開（公告）日: 2022-08-16
• 發明（設計）人: 曾承
• 申請（專利權）人: 武漢泰樂奇信息科技有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/73;G06T17/00;G06V10/762;G06V10/774;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京集智東方知識產權代理有限公司 11578
• 代理人: 吳倩;龔建蓉

本發明提供了一種骨骼模型修正方法和裝置，其中，方法包括：通過構建醫學專家的三維動作模型，并對其進行分解，獲取到不同步驟的訓練數據，再加入空間注意力機制和時間注意力機制，使模型的修正結果更加貼近醫學專家的三維動作模型，實現了對實習醫生的臨床操作進行修正的自動化，使醫學專家只需要根據最終的修正結果進行點評即可，進一步節省醫學專家的時間。

技術領域

本發明涉及人工智能領域，特別涉及一種骨骼模型修正方法和裝置。

背景技術

為了加強實習醫生的臨床技能訓練，以提高實習生的整體素質，一般需要通過對實習醫生的臨床技能進行考核。目前，考核的方式主要是通過醫學專家實地觀察實習醫生的臨床操作進行修正，然而這種方式會耗費醫學專家寶貴的時間，因此亟需一種對臨床操作技能的修正模型。

發明內容

本發明的主要目的為提供一種骨骼模型修正方法和裝置，旨在解決實地觀察實習醫生的臨床操作進行修正會耗費醫學專家時間的問題。

本發明提供了一種骨骼模型修正方法，包括：

采集多個臨床操作視頻，并對所述臨床操作視頻中的醫學專家的骨骼點進行標記，得到多個第一標記；

根據所述第一標記和所述臨床操作視頻構建所述醫學專家的三維動作模型，按照預設的臨床步驟將所述三維動作模型按照時間順序進行步驟分解，得到多個三維動作子模型；

將所述三維動作子模型輸入至初始模型中，并在所述初始模型中獲取所述三維動作子模型中各個骨骼點至目標對象的距離；

將在預設距離內的骨骼點記為有效骨骼點，提取所述三維動作子模型中對應的有效骨骼點的局部子模型，獲取所述局部子模型每幀中所述有效骨骼點的第一位置信息，以及所述目標對象的第二位置信息；

基于所述第一位置信息計算每個所述有效骨骼點至其余的有效骨骼點的第一向量，以及基于所述第二位置信息計算每個所述有效骨骼點至所述目標對象的第二向量；

基于所述第二向量的模設定各個所述第一向量的空間注意力分值，提取所述局部子模型每幀中同一第一向量，構成第一向量集合；其中，所述第一向量集合中任意兩個第一向量所對應的兩個有效骨骼點相同；

按照時間順序將所述第一向量集合中的第一向量進行排列；

計算相鄰的兩個第一向量的位置差；

根據softmax函數設置第n+1幀局部子模型中第m個第一向量對應的位置注意力分值，以及將第一幀局部子模型中的第一向量對應的位置注意力分值設置為常數；

根據所述每個第一向量以及對應的空間注意力分值和位置注意力分值進行加權求和，得到每個局部子模型的加權和；

將所述局部子模型的各幀局部子模型的加權和輸入至對應的判別網絡輸入層中，并將所述臨床操作對應的預設分值作為所述判別網絡的輸出進行訓練，訓練完成后，得到骨骼修正模型；

獲取實習醫生的臨床操作視頻，并輸入所述骨骼修正模型中得到所述實習醫生的技能分值，基于所述技能分值對所述實習醫生的動作進行修正。

進一步地，所述按照預設的臨床步驟將所述三維動作模型按照時間順序進行步驟分解，得到多個三維動作子模型的步驟，包括：

獲取每幀所述三維動作模型所述骨骼點的第三位置信息；

根據所述第三位置信息獲取每個骨骼點在每一幀所述三維動作模型相對于前一幀移動的距離，并求和得到所述醫學專家的相鄰幀位移總量；

判斷是否具有連續所述相鄰幀位移總量均大于位移總量閾值；

若是，則將該連續所述相鄰幀位移總量均大于位移總量閾值的幀作為截斷點；