[發明專利]帕金森病起立任務的評估方法及系統、存儲介質及終端

在審

• 申請號: 202111106752.2
• 申請日: 2021-09-22
• 公開（公告）號: CN114140816A
• 公開（公告）日: 2022-03-04
• 發明（設計）人: 錢曉華;郭睿
• 申請（專利權）人: 上海交通大學
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 徐秋平

1.一種帕金森病起立任務的評估方法，其特征在于：包括以下步驟：

獲取包含帕金森病患者起立動作的視頻信息，所述起立動作為執行起立任務評估所需的標準動作；

從所述視頻信息提取帕金森患者的骨架序列，基于所述骨架序列提取關節信息和骨骼信息；

基于所述關節信息和所述骨骼信息訓練自監督度量圖卷積網絡；所述了自監督度量圖卷積網絡用于輸出所述視頻信息中的起立動作針對各個類別的預測概率，包括關節流網絡和骨骼流網絡；所述關節流網絡和所述骨骼流網絡均包括9個時空單元；每個時空單元均由空間圖卷積和時間卷積構成；

基于訓練好的自監督度量圖卷積網絡獲取待評估的帕金森患者起立動作的針對各個類別的預測概率，選取預測概率最大的類別為所述待評估帕金森患者的評估類別。

2.根據權利要求1所述的帕金森病起立任務的評估方法，其特征在于：基于人體姿態估計模型OpenPose從所述視頻信息提取所述骨架序列，基于所述骨架序列提取所述關節信息，基于兩兩自然連接的關節之間的坐標差提取所述骨骼信息。

3.根據權利要求1所述的帕金森病起立任務的評估方法，其特征在于：基于所述關節信息和所述骨骼信息訓練自監督度量圖卷積網絡包括以下步驟：

基于所述骨架序列對所述關節流網絡和所述骨骼流網絡進行自監督的視頻內四元組學習，并在所述關節流網絡和所述骨骼流網絡的輸出特征上施加圖表示監督損失的約束；

將所述自監督的視頻內四元組學習獲取的參數作為所述關節流網絡和所述骨骼流網絡的初始參數，基于所述關節信息和所述骨骼信息訓練所述所述關節流網絡和所述骨骼流網絡，并將所述關節流網絡和所述骨骼流網絡的輸出拼接后輸入全連接層和softmax。

4.根據權利要求3所述的帕金森病起立任務的評估方法，其特征在于：對所述骨架序列進行自監督的視頻內四元組學習包括以下步驟：

基于相似變換的數據增強算法，生成與所述骨架序列在時間和空間的全局上下文相似的正樣本，并將所述骨架序列作為錨樣本；

基于空間全局擾動算法，生成與所述骨架序列具有相同的時間上下文、具有差異性的空間上下文的空間負樣本；

基于時間全局擾動算法，生成與所述骨架序列在時間上混亂、具有正常空間上下文的時間負樣本；

將所述錨樣本、所述正樣本、所述空間負樣本和所述時間負樣本均輸入所述關節流網絡和所述骨骼流網絡，使得所述關節流網絡和所述骨骼流網絡滿足預設的損失函數目標。

5.根據權利要求4所述的帕金森病起立任務的評估方法，其特征在于：所述損失函數目標為令錨樣本、正樣本對和錨樣本、時間負樣本對之間的相對距離最大化，令錨樣本、正樣本對和時間負樣本、空間負樣本對之間的相對距離最大化，令時間負樣本、空間負樣本對之間的最小距離大于錨樣本、正樣本對之間的最大距離。

6.根據權利要求3所述的帕金森病起立任務的評估方法，其特征在于：基于所述關節信息和所述骨骼信息訓練所述所述關節流網絡和所述骨骼流網絡時，成本函數由交叉熵項和圖表示監督損失項共同構成。

7.根據權利要求1所述的帕金森病起立任務的評估方法，其特征在于：所述時空單元中，輸入和輸出通道數相同的時空單元中采用頂點特異的空間圖卷積。