[發明專利]一種基于注意力機制的肺結節良惡性識別方法

在審

• 申請號: 202011436040.2
• 申請日: 2020-12-11
• 公開（公告）號: CN112419307A
• 公開（公告）日: 2021-02-26
• 發明（設計）人: 王昕;王偉博;韓優佳;周長才;劉爽
• 申請（專利權）人: 長春工業大學
• 主分類號: G06T7/00
• 分類號: G06T7/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于注意力機制的肺結節良惡性識別方法，其特征在于：將3D Attention DPN網絡作為特征提取網絡，讓網絡從通道和空間上更加注重結節區域的細節特征；在本發明的分類網絡中既保留了DPN網絡對特征提取速度快、準確度高的優勢，又集成了CBAM（Convolutional Attention Block Module）注意力模塊從通道和空間兩個維度對特征進行自適應調整的能力，再結合高級分類器（GBM）能夠有效地對結節進行良惡性識別；本發明結合DPN和CBAM網絡的優勢，建立一種帶有3D Attention DPN網絡的GBM分類網絡；在我們的分類網絡中既發揮了DPN網絡的對特征提取速度快、準確度高的優勢，又綜合了CBAM注意力模塊從通道和空間兩個維度對特征進行自適應調整，重視關鍵特征忽視無用特征的能力；我們之所以設計雙路徑注意力網絡的原因是將結節分為良性和惡性需要系統學習更加精細的特征；本方法以結節位置中心剪裁CT數據其大小為32x32x32作為分類網絡的輸入，然后用卷積對其提取特征輸出32*32*32*64的特征圖，在特征圖之后是CBAM模塊對特征圖進行權重調整，然后使用30個3D DPN塊來學習更高級的特征；3D雙路徑注意力網絡可以直接用作結節診斷的分類器，也可以用于有效的學習特征，最后使用3D AvgPool產生的特征；GBM是高級分類器，它允許在最終的分類中引入額外的評價指標；本方法通過設計的特征提取網路的最后一層3D AvgPool產生的特征、結節的大小、原始3D裁剪結節像素來構建GBM分類器所需特征；對于像素特征，我們以檢測到的結節中心為中心，裁剪的尺寸為16x16x16。

2.根據權利要求1所述的一種基于注意力機制的肺結節良惡性識別方法，其特征在于：本發明一種基于注意力機制的肺結節良惡性識別方法具體包括以下步驟：

Step 1：將ResNet和DenseNet在HORNN框架下通過一種拓撲路徑連接到一起綜合兩種網絡的優勢建立3D DPN特征提取網絡；

Step 2：引入CBAM注意力機制來進一步改善3D DPN肺結節分類的性能，采從通道注意力模塊和空間注意力模塊兩個子模塊去實現Attention機制；

Step 3：將原始像素、3D Attention DPN特征、結節的形狀大小提供給GBM，GBM將最終得出結節良惡性分類結果；

所述Step 1中的具體過程如下：

Step 1.1：將ResNet和DenseNet在HORNN框架下通過一種拓撲路徑連接到一起；

Step 1.1.1：選擇ResNet網絡和DenseNet網絡構建DPN網絡；

Step 1.1.2：ResNet模型將部分卷積層都擬合成一個殘差映射，殘差之間通過快捷連接的方式連接，可以將初始化的結果將輸入值傳入到輸出的數據中去；

Step 1.1.3：DenseNet網絡模型為了盡最大努力保留網絡中層與層之間最大的信息交流，采取的措施是將帶有匹配特征的與映射大小有關的所有層直接連接起來，并且為了保留其前向傳播的特性，每一層都逐一分別從該層的上一層以及在上一層的所用層中獲得了附加輸入，最后再將其自己本身所帶有的特征全部的映射傳遞到該層后的所有層；

Step 1.2：保留兩個網絡的優勢，將兩個網絡整合到DPN網絡中；

Step 1.3：用DPN網絡對肺結節做特征提取測試；

所述Step 2中的具體過程如下：

Step 2.1：選在注意力機制的模型

Step 2.1.1：現在的注意力模型有許多種；我們選擇CBAM注意力模型進行對DPN網絡進行優化；

Step 2.2：CBAM模型在通道上對特征進行優化

Step 2.2.1：通道注意力模塊（Channel attention module）；該模塊的作用是利用特征的通道間關系，生成通道注意映射;

Step 2.2.2：為了有效的計算通道注意力權重，需要壓縮輸入特征圖的空間維數，對空間信息進行聚合，為了避免單獨使用平局池化或者最大池化帶來的丟失信息過多，壓縮特征圖時選擇同時采用平均池化和最大池化的方法;

Step 2.2.3：通道注意力模塊的計算過程是對于圖像特征層F同時使用平均池化和最大池化操作來聚合特征圖的空間信息，生成兩個不同空間上下文描述符來分別表示平均匯集特征和最大匯集特征，然后這兩個特征被轉發到一個包含了一個隱藏層的共享多層感知機網絡MLP，進過MLP的處理得到兩個中間層，最后對兩個中間層進行運算得到通道注意力的權重映射；

Step 2.2.4：通道注意力機制的計算公式為：

其中M_c通道注意力權重， 表示Sigmoid函數，W₀和W₁是MLP的共享權重，和分別代表經過池化后的平均匯集特征和最大匯集特征；

Step 2.3：CBAM模型在空間上對特征進行優化

Step 2.3.1：空間注意力模塊，該模塊的作用是利用空間特征之間的關系生成空間注意力的映射；

Step 2.3.2：在計算空間注意力時，應用平均池化和最大池化操作對通道信息進行聚合，并連接平均池化特征圖和最大池化特征圖，然后使用卷積操作得到空間注意力權重；

Step 2.3.3：空間注意力模塊的計算過程，對于經過通道注意力調整后得到的圖像特征F’應用平均池化和最大池化后，對池化后的特征進行連接并對連接后的特征使用卷積，最后的得到空間注意力的權重Ms；

Step 2.3.4：空間注意力的模塊計算公式為：

其中表示Sigmoid函數，f表示經過卷積核的卷積運算，和分別表示平均池化特征和最大池化特征；

Step 2.4：將注意力模塊優化后的特征圖輸入DPN網絡進行特征提?。?/p>

Step 2.5：將DPN提取的特征圖經過3D Avg Pool操作輸出特征圖到GBM；

所述Step 3中的具體過程如下：

Step 3.1：將原始像素提供給GBM；

Step 3.2：結節的形狀大小提供給GBM；

Step 3.3：GBM將最終得出結節良惡性分類結果。