[發明專利]一種基于先心病超聲的多切面的分類方法

有效

• 申請號: 202011454017.6
• 申請日: 2020-12-10
• 公開（公告）號: CN112419313B
• 公開（公告）日: 2023-07-28
• 發明（設計）人: 高躍;陳自強;魏宇軒
• 申請（專利權）人: 清華大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G16H30/20;G06V10/764;G06N3/0464;G06N3/048;G06N3/08
• 代理公司: 北京律譜知識產權代理有限公司 11457
• 代理人: 黃云鐸;孫紅穎

1.一種針對先心病的超聲多切面數據分類方法，其特征在于，包括以下步驟：

步驟1、進行訓練數據及預處理，選取正常人切面數據和先天性心臟病房間隔缺損病人切面數據若干份；

采用超聲心動圖共有30個動態切面和5張頻譜圖，每個切面分為黑白圖像和彩色的血流圖像；從左到右，從上到下分別為胸骨旁大動脈短軸切面、心尖部四腔心切面、劍突下雙心房切面、胸骨旁左心長軸切面、升主動脈長軸切面和心尖部五腔心切面的彩色血流圖像；

步驟2、設置單幀超聲圖像分類模型，以ResNet18網絡作為基礎，設計基于單幀超聲圖像的單幀超聲圖像分類模型；

步驟2.1、在圖像預處理操作中改變圖片的大小，將圖片變為適合輸入網絡的224×224的大小，將圖片通過7×7的卷積層，其圖片大小變為112×112；之后，通過一個3×3、步長為2的最大池化層，將圖片大小變為56×56，然后通過4個卷積模塊，每個卷積模塊包含2個3×3卷積層，且在通過2個3×3卷積層后都需要通過批標準化層和ReLu激活層，以使各個通道的特征保持相同的分布；

步驟2.2、每個卷積模塊的輸出前，將輸入的特征與卷積后的特征相加，通過第二個ReLu激活層后輸出，以避免梯度消失問題；

在輸入的圖像通過了4個卷積模塊后，使用softmax層對得到的特征進行分類，softmax函數，是將一組數用指數表示后再進行歸一化的函數，又稱歸一化指數函數，公式如(1)所示：

即對于每個類別，使用指數的方式計算其權重，得到該特征屬于第j個分類的概率,使用softmax函數后，可以得到一個1×10的向量，其中每個位置i表示該單幀超聲圖像屬于第i個分類的概率，選取這個向量中最大的值，判定為該單幀超聲圖像的分類；

步驟3、設置通道注意力模塊，在單幀超聲圖像分類模型的訓練中，對各個通道分配不同的權重，并在網絡中通過訓練得到權重的參數；

輸入的大小為B×C×H×W，其中B為批數據大小，C為通道數，H為高度，W為寬度的特征，首先通過全局池化層，在W維度上取最大值，得到B×C×H×1大小的特征圖；然后通過第一個全連接層，在H維度上進行擠壓，得到B×C×H/r×1的特征，其中r為設定的倍數，在此處為4；最后通過sigmoid激活函數后，將權重映射到[0,1]之間；

步驟4、設置單點注意力模塊，網絡聚焦在關鍵區域的特征中進行分類；

步驟5、設置聯合注意力模塊，充分融合特征圖的區域權重信息和通道權重信息；

在聯合注意力模塊中，通過單點注意力模塊提取了特征圖的區域權重信息，通過通道注意力模塊提取了特征圖的通道權重信息，將這些信息融合后加入到原始的特征內，幫助模型使用特征進行超聲心動圖的分類；輸入的特征同時輸入單點注意力模塊和通道注意力模塊中，輸出的特征相乘之后，通過sigmoid激活函數后，將權重映射到[0,1]之間；

步驟6、設置多幀超聲圖像分類模型，在設計了單幀超聲圖像分類模型，并在單幀超聲圖像分類模型中加入了聯合注意力模塊以獲取各個特征通道以及特征區域的權重之后，利用多幀超聲圖像分類模型進行特征采集。

2.根據權利要求1所述的針對先心病的超聲多切面數據分類方法，其特征在于，步驟2中，單幀超聲圖像分類模型考慮殘差結構的短連接方式，同樣保存了圖像中的淺層特征，對于網絡中的卷積模塊，采用殘差結構的設計方式。

3.根據權利要求1所述的針對先心病的超聲多切面數據分類方法，其特征在于，步驟6中，在多幀超聲圖像分類模型結構中，對12張超聲圖像通過單幀圖像分類網絡，得到特征后通過池化層進行融合，獲取全局特征，然后對全局特征進行分類，得到綜合的分類結果。