[發明專利]基于深度學習的動態超聲乳腺結節實時分割與識別的方法

有效

• 申請號: 202010318576.8
• 申請日: 2020-04-21
• 公開（公告）號: CN111539930B
• 公開（公告）日: 2022-06-21
• 發明（設計）人: 王守超
• 申請（專利權）人: 浙江德尚韻興醫療科技有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/11;G06T7/187
• 代理公司: 杭州中成專利事務所有限公司 33212
• 代理人: 周世駿

1.一種基于深度學習的動態超聲乳腺結節實時分割和識別的方法，其特征在于，包括以下步驟：

(1)收集有結節的超聲乳腺圖像、視頻以及有手術病理結果的病例數據；標記結節區域，生成掩模圖像，構建結節靜態分割、動態分割和良惡性識別的數據集；

(2)選擇基礎網絡結構，使用反卷積上采樣和跳層連接方式，構造靜態圖像結節分割網絡；使用足量圖像塊訓練批歸一化層參數，在原始圖像上訓練靜態圖像結節分割模型；

構造靜態圖像結節分割網絡的過程具體包括：選擇EfficientNet-B4作為基礎網絡結構，在其最后1個卷積層之后連接1個3×3卷積層，調整輸出特征通道數，然后經過反卷積將特征圖上采樣2倍，特征圖通道數降為原來的1/4；從基礎網絡第1個輸出特征圖是原輸入圖像尺寸1/16的卷積層做跳層連接，在連接層之后使用3×3卷積調整輸出通道數為16，最后使用反卷積進行4倍上采樣，輸出概率圖是輸入圖像尺寸的1/4，最后對概率圖進行4倍上采樣，輸出與輸入圖像一樣尺寸的分割概率圖；

(3)在靜態圖像結節分割網絡基礎上，輸入圖像序列，使用LSTM層預測中間幀結節概率，構造視頻動態分割網絡；調整視頻樣本訓練頻率，訓練動態分割模型；

構造視頻動態分割網絡的過程具體包括：在靜態圖像結節分割網絡的跳層連接之后的卷積層使用多個LSTM單元組成LSTM層，LSTM數量根據卷積層輸出特征圖尺寸確定，LSTM層之后添加3×3卷積層，卷積層輸入是每一幀圖像在LSTM層的輸出，卷積層輸出通道數是16，特征圖尺寸保持不變，卷積層之后的結構與靜態分割模型保持一致，構建視頻動態分割網絡；設置動態分割網絡每次輸入n幀圖像序列，保存每一幀圖像在LSTM層的輸出特征圖，連接所有幀的LSTM輸出特征圖作為下一層卷積層的輸入，上采樣層保持不變，其中間幀即第n/2幀為動態分割網絡需要預測的視頻幀，即輸出概率圖與第n/2幀圖像的結節掩模圖像求損失函數；

(4)使用基礎網絡構造良惡性識別網絡結構，在乳腺結節良惡性識別數據集上根據結節區域輸入圖像和結節信息，訓練良惡性識別模型；

構造良惡性識別網絡結構的過程具體包括：修改基礎網絡最后的全連接層輸出值為2，使用Sigmoid交叉熵損失函數，定義良性類別標簽是0，惡性類別標簽是1；使用靜態圖像結節分割模型參數初始化基礎網絡，全連接層隨機初始化，結節良惡性識別網絡構建完成；

(5)應用動態分割網絡處理圖像序列，實時輸出結節位置信息；使用良惡性識別模型識別每幀結節良惡性，檢查結束輸出結節數和綜合良惡性概率。

2.根據權利要求1所述的方法，其特征在于，所述步驟(1)包括：

(1.1)以病例為單位，收集靜態超聲乳腺結節圖像數據、超聲乳腺結節掃查的視頻數據，以及乳腺結節良惡性數據；其中，良惡性結果必須以手術病理為標準，視頻數據和無手術病理結果的病例不加入良惡性數據集；對于多結節情況，需要知道每個結節的病理結果；

(1.2)數據收集完成后，進行文件重命名，裁剪圖像和視頻上非超聲區域；按照病灶形態及邊界特征在圖像和視頻中勾畫結節，以標記結節區域；結節勾畫完成后，產生對應的結節掩模圖像，結節區域內的像素值是255，其余區域像素值為0；在此基礎上，構建結節靜態分割、動態分割和良惡性識別的數據集。