[發明專利]一種基于RGB-D圖像的頸部肌張力障礙識別系統

在審

• 申請號: 202210759556.3
• 申請日: 2022-06-30
• 公開（公告）號: CN115294018A
• 公開（公告）日: 2022-11-04
• 發明（設計）人: 葉晨;靳令經;肖潏灝;滕飛;潘麗珍;李若愚;顧宏凱
• 申請（專利權）人: 同濟大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06V10/46;G06V10/80;G06V10/82;G16H30/20
• 代理公司: 上海科律專利代理事務所(特殊普通合伙) 31290
• 代理人: 葉鳳

一種基于RGB?D圖像的頸部肌張力障礙識別系統，包括五個模塊，分別是視頻數據采集模塊1、正面2D關鍵點檢測模塊2、3D關鍵點檢測模塊3、側面2D關鍵點檢測模塊4、異常式判別模塊5。同步采集患者正面RGB?D圖像，融合深度數據以消除運動模單視圖RGB圖像評估頸部肌張力障礙異常運動模式中出現的深度歧義問題，提高評估的精確性。采集患者側面RGB圖像，使用患者的2D側面關鍵點評估患者頭頸部在Z軸方向的運動，提高了評估的精確性。解決從2D圖像中評估3D人體關鍵點坐標存在深度歧義的問題，提高人體3D關鍵點檢測精度。

技術領域

本發明屬于醫療器械技術領域，具體涉及一種基于視覺的頸部肌張力障礙識別系統。

背景技術

頸部肌張力障礙是臨床上最常見的局灶性肌張力障礙，是由頸部肌肉陣攣性或強直過度收縮，從而引起頭頸部姿勢異常和不自主運動的一種局灶性肌張力障礙，可伴隨震顫。常見的治療手法包括藥物治療、肉毒毒素注射治療以及外科手術治療。其中肉毒毒素局部注射治療可以有效減輕肌肉收縮和疼痛。

在臨床上一般通過患者頸部肌肉異常運動模式來選擇肉毒毒素治療的靶肌肉。一般可以將頸部肌肉張力障礙分為兩種類型，一種是相對于頸部的頭部異常運動，一種是相對于軀干的頸部異常運動，每種類型可以進一步細分為屈伸、側傾、扭轉類型。對于復雜的頸部肌張力障礙模式，首先應該明確具體是由哪些基本異常運動模式所組成的，再對所有可能的責任肌肉進行探查。

傳統的常用于臨床評估患者頸部肌肉異常運動模式的方法主要有手動測量法、傳感器測量法以及頭顱及脊柱X攝像多角度攝片法。使用上述傳統的異常模式評估方法需要專業的測量設備并且需要訓練有素的醫生進行操作，并且會給患者帶來不適甚至痛苦。基于計算機視覺的評估方法使用患者的圖像、視頻等數據評估患者的異常運動模式，這種方法只需要使用攝像設備來采集數據，例如智能手機等，無需與患者進行直接接觸，在保持評估準確性的同時，方便快捷，易于在遠程輔助診斷中應用。

CN113554609A是一種基于單目視覺的頸部肌張力障礙模式評估方法，其僅使用正面RGB相機采集患者的正面RGB圖像，并通過2D關鍵點檢測模塊檢測出患者的2D關鍵點，再通過3D關鍵點檢測模塊將2D關鍵點提升到三維空間得到3D關鍵點，最后通過異常模式判別模塊得到評估結果。其流程圖如下圖所示。而對于頸部肌張力障礙異常運動模式的評估需要使用精確的3D人體關鍵點坐標，使用單目RGB圖像的缺點在于單個2D圖像中并不包含3D信息，從2D圖像中估計人體的3D坐標存在深度歧義的問題，最終得到的人體3D關鍵點坐標誤差比較大，尤其是在Z軸方向上的誤差較大，導致對于頭屈伸和頸屈伸兩個模式的評估的誤差較大。因此，此專利提出的方法對于頸部肌張力障礙異常模式識別具有一定的局限性。

發明內容

本發明方法融合RBG圖像以及深度圖像，解決從2D圖像中評估3D人體關鍵點坐標存在深度歧義的問題，提高人體3D關鍵點檢測精度；并且結合側面RGB圖像檢測人體側面2D關鍵點，提高在Z軸方向人體頭頸部運動角度檢測的精度。在保留基于計算機視覺評估方法的無接觸性以及便利性等優點的同時，提高頸部肌張力障礙異常模式評估的精確度。

技術方案

一種基于RGB-D圖像的頸部肌張力障礙識別系統，其特征在于：包括五個模塊，分別是視頻數據采集模塊(1)、正面2D關鍵點檢測模塊(2)、3D關鍵點檢測模塊(3)、側面2D關鍵點檢測模塊(4)、異常運動模式判別模塊(5)；其中：視頻數據采集模塊負責采集RGB-D相機的數據，其中正面RGB圖像數據提供給正面2D關鍵點檢測模塊，深度圖像提供給3D關鍵點檢測模塊；負責采集側面RGB相機的數據，側面RGB圖像提供給側面2D關鍵點檢測模塊；正面2D關鍵點檢測模塊利用正面RGB圖像檢測患者的正面2D關鍵點坐標，提供給3D關鍵點檢測模塊；3D關鍵點檢測模塊利用患者正面2D關鍵點坐標和患者深度圖像檢測患者的3D關鍵點，提供給異常模式判別模塊；側面2D關鍵點檢測模塊利用側面RGB圖像檢測患者的側面2D關鍵點坐標，提供給異常模式判別模塊；