[發(fā)明專利]一種乳腺超聲造影視頻中病灶區(qū)形態(tài)自動標(biāo)注方法

有效

• 申請?zhí)枺?/td>: 202010159426.7
• 申請日: 2020-03-09
• 公開（公告）號: CN111462049B
• 公開（公告）日: 2022-05-17
• 發(fā)明（設(shè)計）人: 龔勛;趙緒;楊子奇;鄒海鵬
• 申請（專利權(quán)）人: 西南交通大學(xué)
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T5/00;G06V10/764;G06V10/82;G06K9/62;G06N3/04
• 代理公司: 成都東恒知盛知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 51304
• 代理人: 何健雄;廖祥文

1.一種乳腺超聲造影視頻中病灶區(qū)形態(tài)自動標(biāo)注方法，采用了卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，實現(xiàn)自動提取超聲造影視頻中病灶形態(tài)特征參數(shù)信息完成形態(tài)識別分類，對病例數(shù)據(jù)進(jìn)行病灶標(biāo)注，步驟如下：

S1，構(gòu)建乳腺超聲造影多標(biāo)簽數(shù)據(jù)集，以醫(yī)院提供的乳腺超聲視頻數(shù)據(jù)以幀為單位將每個病例中超聲造影視頻處理為連續(xù)圖像，使用單獨文件夾存放每個病例的超聲造影幀序列圖像；

S2，將步驟S1整理好的數(shù)據(jù)進(jìn)行預(yù)處理，使用邊緣增強(qiáng)的各向異性擴(kuò)散去噪算法進(jìn)行圖像去燥處理，使得數(shù)據(jù)集去除超聲圖像斑點噪聲，保持超聲圖像中的細(xì)節(jié)特征及邊緣特征；

S3,將步驟S2中去燥的數(shù)據(jù)的每個病例文件存放地址與對應(yīng)醫(yī)生記錄的每個病例的病灶形態(tài)特征文本作為一個樣本保存為json文件，因每個超聲病例視頻都包含上述形態(tài)類型，因此需要將標(biāo)簽制作為多標(biāo)簽進(jìn)行類別標(biāo)記；

S4,將步驟S3中訓(xùn)練數(shù)據(jù)集每個像素的3個通道都先減去127.5后除以128得到歸一化后的超聲造影視頻序像素值；

S5,為了利用端到端的分類模型完成形態(tài)識別，設(shè)計了3D網(wǎng)絡(luò),所述3D網(wǎng)絡(luò)使用殘差網(wǎng)絡(luò)resnet50結(jié)合C3D網(wǎng)絡(luò)作為基礎(chǔ)訓(xùn)練網(wǎng)絡(luò)，包括8個模塊，每個模塊包括卷積層，卷積核大小為:3×3×3，步長為:1×1×1；使用遷移自然圖像分類任務(wù)將殘差網(wǎng)絡(luò)resnet50預(yù)訓(xùn)練后，將步驟S4的樣本傳入網(wǎng)絡(luò)結(jié)構(gòu)中進(jìn)行網(wǎng)絡(luò)模型權(quán)重參數(shù)的計算，詳細(xì)計算步驟如下所示；

S6,網(wǎng)絡(luò)的輸入為16張大小為224*224的超聲造影連續(xù)幀，根據(jù)是否為第一個模塊，對輸入數(shù)據(jù)或者上層網(wǎng)絡(luò)的特征圖feature map使用C3D網(wǎng)絡(luò)進(jìn)行樣本時空特征提取；

S7,使用預(yù)訓(xùn)練好的殘差網(wǎng)絡(luò)resnet50，根據(jù)是否為第一個模塊，接收輸入數(shù)據(jù)或者上層網(wǎng)絡(luò)的特征圖feature map，進(jìn)行空間特征信息提取，平均所有featuremap的結(jié)果后作為該層的整個空間特征殘差塊；同時根據(jù)是否為第一個模塊，使用3*1*1的一維時間卷積對輸入數(shù)據(jù)或者上層網(wǎng)絡(luò)的特征圖feature map進(jìn)行時間序列特征提取；

S8,在3D網(wǎng)絡(luò)的8個模塊中，在每個模塊中都分別融合了空間特征信息和時間序列特征信息以及時空特征信息，具體為：將C3D網(wǎng)絡(luò)中每個模塊輸出的特征都加上由S7中提取的特征計算得到的時間和空間feature map的殘差塊，來作為下一個模塊的輸入，計算公式如式1所示，其中Xt表示網(wǎng)絡(luò)模塊單元的輸入，Xt+1表示該網(wǎng)絡(luò)模塊單元的輸出，S(X_t)表示空間特征殘差塊，T(X_t)表示時間特征殘差塊，ST(X_t)表示C3D網(wǎng)絡(luò)提取的時空特征；

X_t+1＝S(X_t)+T(X_t)+ST(X_t) (1)

S9,在網(wǎng)絡(luò)最后添加全連接層輸出4096維的描述特征，然后接著做L2正則化,使用SIGMOD函數(shù)對每個便簽都進(jìn)行判別，最終輸出每個超聲造影視頻數(shù)據(jù)中病灶每個形態(tài)特征的預(yù)測結(jié)果；

S10,將預(yù)測結(jié)果與醫(yī)生記錄的真實結(jié)果進(jìn)行比較，使用式(2)對每個標(biāo)簽進(jìn)行計算求評均作為網(wǎng)絡(luò)識別準(zhǔn)確度，其中TP、TN、FP、FN分別為預(yù)測的真陽性、真陰性、假陽性、假陰性數(shù)目；

S11,使用BCEloss作為損失函數(shù)進(jìn)行訓(xùn)練約束，重復(fù)S6-S10訓(xùn)練該網(wǎng)絡(luò)至loss收斂保存該模型；

S12,使用數(shù)據(jù)集中驗證部分輸入訓(xùn)練好的模型權(quán)重中，得到自動識別結(jié)果及準(zhǔn)確率。

2.根據(jù)權(quán)利要求1所述的乳腺超聲造影視頻中病灶區(qū)形態(tài)自動標(biāo)注方法，其特征在于：所述步驟S3中的病灶形態(tài)特征文本包括如下6種類型：增強(qiáng)強(qiáng)度、增強(qiáng)時相、增強(qiáng)順序、增強(qiáng)均勻、增強(qiáng)后形態(tài)規(guī)則、蟹足狀，每個形態(tài)類型都有一個值域標(biāo)簽，真實值均由2名高年資超聲醫(yī)師評價乳腺病灶的超聲造影特征得來，這些特征都是很重要的病灶形態(tài)描述信息，在治療過程中可觀察其治療前后的變化輔助病情觀測。

3.根據(jù)權(quán)利要求1所述的乳腺超聲造影視頻中病灶區(qū)形態(tài)自動標(biāo)注方法，其特征在于：所述的步驟S3中的標(biāo)簽類別標(biāo)記是使用獨熱編碼方式將每個類型中的標(biāo)簽屬性值域中的有設(shè)置為1，無該屬性則設(shè)置為0，并將該數(shù)據(jù)集按6：2：2分為訓(xùn)練集，測試集和驗證集3部分。