[發明專利]基于殘差注意力約束機制的脊柱三柱骨折分類與定位系統

在審

• 申請號: 202210988832.3
• 申請日: 2022-08-17
• 公開（公告）號: CN115331059A
• 公開（公告）日: 2022-11-11
• 發明（設計）人: 孫建奇;張舒南
• 申請（專利權）人: 上海交通大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/774;G06V10/22;G06V10/40;G06V10/80;G06N3/04;G06N3/08
• 代理公司: 上海一平知識產權代理有限公司 31266
• 代理人: 竺云;徐迅

1.一種基于殘差注意力約束機制的脊柱三柱骨折分類與定位系統，其特征在于，包括：

椎骨數據集構造單元，用于根據輸入數據獲取用于模型訓練和測試的椎骨數據集，其中，所述輸入數據是對椎骨CT影像數據以及其對應的類別標簽和定位圖標簽進行預處理之后獲得的數據；

基于殘差注意力約束機制的分類與定位模型構建單元，用于構造基于殘差注意力約束機制的分類與定位模型，所述分類與定位模型是用于根據所述椎骨數據集對每個椎骨的三柱骨折進行分類以及定位的深度學習模型；其中，所述基于殘差注意力約束機制的分類與定位模型構建單元用于實現骨折的分類與定位圖的生成，通過圖像級別與體素級別的監督約束，引導模型關注骨折區域，以獲得分類結果與定位圖；

模型訓練單元，用于訓練所述基于殘差注意力約束機制的分類與定位模型；以及

檢測單元，用于獲取待檢測的輸入數據，并基于所述基于殘差注意力約束機制的分類與定位模型，獲取與所述待檢測的輸入數據對應的分類結果與定位圖。

2.如權利要求1所述的系統，其特征在于，還包含：

CT數據集構造單元，用于獲取用來訓練和測試的椎骨CT影像數據以及其對應的類別標簽和定位圖標簽；

數據預處理單元，用于根據所述椎骨CT影像數據以及其對應的類別標簽和定位圖標簽，獲取基于殘差注意力約束機制的分類與定位模型的輸入數據。

3.如權利要求1所述的系統，其特征在于，還包含：

模型測試單元，用于測試訓練好的所述基于殘差注意力約束機制的分類與定位模型。

4.如權利要求1所述的系統，其特征在于，

所述CT數據集構造單元中，收集脊柱骨折的患者的CT影像數據構造數據集X，對CT序列中每一個椎骨的三柱骨折情況進行標注獲得類別標簽GT_c和定位圖標簽GT_s；其中，所述定位圖標簽GT_s的標注過程，首先利用可以進行分割標注的軟件，使用二維或三維的分割標注刷分別對每個椎骨的前、中、后柱骨折所在的區域進行涂抹，使得背景、前、中、后柱的骨折所在區域分別被值為0，1、2、3的掩膜覆蓋，然后將標注好的掩膜保存作為定位圖標簽GT_s。

5.如權利要求1所述的系統，其特征在于，

所述基于殘差注意力約束機制的分類與定位模型構建單元中，構建基于殘差注意力約束機制的分類與定位網絡，所述基于殘差注意力約束的網絡包含三個支路：主干特征提取網絡支路，定位圖生成網絡支路，融合分類網絡支路。

6.如權利要求5所述的系統，其特征在于，

所述主干特征提取網絡支路的特征提取步驟為：將數據輸入所述主干特征提取網絡支路，依次經過卷積層C1、最大池化層M1、n個殘差注意力約束子網絡和一個全局平均池化層后，最終輸出一個主干特征向量F₁和m_a個三維的空間注意力圖S，其中m_a為整個模型中殘差注意力模塊的個數，所述空間注意力圖由各個殘差注意力模塊產生。

7.如權利要求5所述的系統，其特征在于，

所述的定位圖生成網絡支路的定位圖生成步驟為：首先選擇m_s個4-1中提取到的三維空間注意力圖S來構造骨折定位圖，先將其上采樣到與原始輸入圖像相同的大小，然后將上采樣后的圖沿特征通道進行拼接，再使用2個卷積核為3×3×3的卷積層將多個空間注意力圖融合成3個的空間注意力圖，最后使用Sigmoid激活函數將空間注意力圖的值限制到0-1之間以便得到前、中和后柱骨折定位圖SL,其中，m_s為選擇的空間注意力圖的數量。

8.如權利要求5所述的系統，其特征在于，

所述的融合分類網絡支路包含定位圖特征提取和融合分類預測兩個部分；所述定位圖融合部分使用神經網絡對骨折定位圖SL的特征進行提取，所述融合分類預測部分使用全連接層對骨折定位圖的特征以及主干特征向量F₁進行融合并分類。