[發明專利]一種基于多粒度的胎兒心臟超聲圖像識別方法

在審

• 申請號: 202110804764.6
• 申請日: 2021-07-16
• 公開（公告）號: CN113642611A
• 公開（公告）日: 2021-11-12
• 發明（設計）人: 曾憲華;張蕓久
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08;G06T7/11
• 代理公司: 重慶市恒信知識產權代理有限公司 50102
• 代理人: 劉小紅

1.一種基于多粒度的胎兒心臟超聲圖像識別方法，其特征在于，包括以下步驟：

1)、堆疊標準塊和減少塊,得到網絡結構相同的胎兒心臟超聲圖像分類網絡1、分類網絡2和分類網絡3，使用3個分類網絡構建多粒度胎兒心臟超聲圖像識別模型，其中標準塊和減少塊是基本圖像計算單元，每個塊中有7個節點，節點1，2為輸入節點，節點3，4，5，6為中間節點，中間節點之間為不同的卷積操作，節點7為輸出節點，對所有中間節點的圖像特征按通道進行連接，堆疊是按順序連接標準塊和減少塊；

2)、將胎兒心臟超聲圖像數據輸入分類網絡1，得到粗分類標簽Y⁽¹⁾和本次分類的最大分類概率P⁽¹⁾；

3)、將分類網絡1中全局平均池化層前的特征圖輸入到注意力模塊，注意力模塊能從特征圖中判斷重要特征得到注意力特征，輸出一個坐標值和尺寸大小；

4)、根據步驟3)輸出的坐標值和尺寸大小，對輸入分類網絡1的胎兒心臟圖像進行裁剪，得到原始圖像中器官區域的子圖；

5)、對步驟4)得到胎兒心臟器官子圖進行放大處理，得到與原始圖像大小一樣的胎兒心臟器官圖像；

6)、將處理后的胎兒心臟器官圖像數據輸入分類網絡2，得到分類標簽Y⁽²⁾和本次分類的最大分類概率P⁽²⁾；

7)、在分類網絡2后重復步驟3)、4)、5)，得到處理后的胎兒心臟器官細節特征圖像，將此胎兒心臟器官細節特征圖像數據輸入分類網絡3，得到細粒度分類標簽Y⁽³⁾和本次分類的最大分類概率P⁽³⁾，通過對胎兒心臟超聲圖像進行多粒度識別，得到識別結果。

2.根據權利要求1所述的一種基于多粒度的胎兒心臟超聲圖像識別方法，其特征在于，所述步驟1)堆疊標準塊和減少塊，得到網絡結構相同的胎兒心臟超聲圖像分類網絡1、分類網絡2和分類網絡3，具體包括：三個分類網絡都由20個塊組成，第6、11、16塊為減少塊，其余塊為標準塊，在訓練階段，采用3層卷積的輔助分類網絡對整個網絡進行訓練；最后，通過全局平均池化層和全連接層輸出分類結果。

3.根據權利要求1所述的一種基于多粒度的胎兒心臟超聲圖像識別方法，其特征在于，所述步驟2)將胎兒心臟超聲圖像數據輸入分類網絡1，得到粗分類標簽Y⁽¹⁾和本次分類的最大分類概率P⁽¹⁾，具體包括：分類標簽Y⁽¹⁾為分類網絡1的輸出結果，用來與圖像的真實標簽Y^t做交叉熵運算來優化分類網絡1的網絡參數，最大分類概率P⁽¹⁾為分類標簽中概率最大的值。

4.根據權利要求3所述的一種基于多粒度的胎兒心臟超聲圖像識別方法，其特征在于，所述步驟3)具體包括：將分類網絡1中全局平均池化層前的特征圖輸入到注意力模塊，具體包括：

將分類網絡1輸出的特征圖基于通道做全局最大池化和全局平均池化，將池化后的兩個結果基于通道做一個聯接，然后經過一個卷積操作進行降維，再將特征經過第一個全連接層輸出為1024維的特征向量，然后將1024維向量輸入到第二個全連接層輸出為3維的特征向量，最后將3維的特征向量經過sigmoid函數輸出一個坐標值(x,y)和邊長尺寸的一半l，具體可表示為：F_att(X)＝sigmoid(f_c3(f_c1024(f^7×7([MaxPool(X),AvgPool(X)]))))，其中X表示原始圖像經過卷積操作得到的特征圖，F_att(X)注意力模塊輸出值，f_c3表示輸出維度為3的全連接函數f_c1024表示輸出維度為1024的全連接函數，f^7×7表示卷積核大小為7x7的卷積操作，MaxPool(X)表示最大池化操作，AvgPool(X)表示全局平均池化。