[發明專利]一種基于深度卷積網絡的大腸內窺鏡息肉檢測方法

在審

• 申請號: 202011143365.1
• 申請日: 2020-10-23
• 公開（公告）號: CN112200795A
• 公開（公告）日: 2021-01-08
• 發明（設計）人: 曹魚;王德純;劉本淵
• 申請（專利權）人: 蘇州慧維智能醫療科技有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/11;G06N3/04;G06N3/08
• 代理公司: 蘇州銘浩知識產權代理事務所(普通合伙) 32246
• 代理人: 朱斌兵

1.一種基于深度卷積網絡的大腸內窺鏡息肉檢測方法，其特征在于，包括如下步驟：

S1：構建卷積神經網絡，所述卷積神經網絡由骨干網絡在ImageNet進行預訓練，再由包含息肉類別和位置信息的訓練圖像數據集訓練所得；

S2：對彩色內鏡圖像進行預處理；

S3：將預處理后的彩色內鏡圖像輸入卷積神經網絡后提取圖片特征層信息；

S4：對圖片特征層信息進行特征增強和視野域的提升；

S5：將圖片特征層信息解碼為息肉的類別和其位置信息。

2.根據權利要求1所述的基于深度卷積網絡的大腸內窺鏡息肉檢測方法，其特征在于：所述卷積神經網絡包含十六層卷積，每層網絡均通過反向傳播來更新其權重參數；

所述卷積神經網絡以max pool為界限分成步長為4，8，16，32，64的不同階段。

3.根據權利要求1所述的基于深度卷積網絡的大腸內窺鏡息肉檢測方法，其特征在于，對彩色內鏡圖像進行預處理的步驟如下：

裁剪彩色內鏡圖的黑邊；

調整圖像尺寸到統一大小和進行像素均值的歸一化。

4.根據權利要求1所述的基于深度卷積網絡的大腸內窺鏡息肉檢測方法，其特征在于：S3中，將經過預處理后的彩色內鏡圖像輸入卷積神經網絡中進行卷積操作，得到大小為80x80，40x40，20x20，10x10，5x5的圖片特征層信息，分別對應卷積神經網絡中步長為4，8，16，32，64的輸出。

5.根據權利要求4所述的基于深度卷積網絡的大腸內窺鏡息肉檢測方法，其特征在于，所述S4中的步驟如下：

a:對預處理后的圖片特征層信息進行特征增強；

b：將經過特征增強的圖片特征層信息輸入到視野域提升模塊獲取提升視野域后的圖片特征層信息。

6.根據權利要求5所述的基于深度卷積網絡的大腸內窺鏡息肉檢測方法，其特征在于，所述特征增強的處理方法如下：

一、從卷積神經網絡中抽取k個中間層，其中k＝5；

二、當對于特征層Si，其中i＝0～k-1，進行特征融合時，首先使用卷積核為1x1的卷積層對特征層Si+1進行平滑和降維操作；

三、使用卷積核為2x2，步長為2的轉置卷積進行上采樣，結果與特征層Si相加得到增強特征Ei，其公式為：

E_i＝S_i+deconv(smooth(S_i+1))；

其中，deconv()為轉置卷積，smooth()為1x1的卷積操作。

7.根據權利要求6所述的基于深度卷積網絡的大腸內窺鏡息肉檢測方法，其特征在于：所述視野域提升模塊包含三個分支，每個分支分別處理1/3的通道數，并包含1，2，3個卷積核為3x3步長為1稀疏為3的稀疏卷積；圖片特征層信息進入到視野域提升模塊后的輸出為每個分支的卷積結果在通道層面的級聯。

8.根據權利要求1所述的基于深度卷積網絡的大腸內窺鏡息肉檢測方法，其特征在于，S5中解碼過程如下：

對于邊界框回歸特征層，特征點x，y其輸出預測為

其中，

經解碼得到預測物體位置[c_x，c_y，w，h]，其中，c_x，c_y為物體框中心點x，y值，w，h為物體框的寬高，然后結合物體類別信息得出息肉的類別和位置信息[s，cx，xy，w，h]；

其中s為物體類別。

9.根據權利要求7所述的基于深度卷積網絡的大腸內窺鏡息肉檢測方法，其特征在于，所述卷積神經網絡的訓練方法如下：

①由骨干網絡在ImageNet進行預訓練，再由包含息肉類別和位置信息的訓練圖像數據集訓練得到卷積神經網絡；

②對彩色內鏡圖像進行預處理；

③將預處理后的彩色內鏡圖像輸入卷積神經網絡中，進行圖片特征層信息的提取；

④對卷積神經網絡提取的圖片特征信息進行特征增強以及視野域提升；

⑤對于不同特征層的特征點按照目標息肉的大小給予不同的標簽；

假設一個息肉目標邊界框b＝(c_x，c_y，w，h)，(c_x，c_y)為邊界框的中心點，(w，h)為寬高；將其按大小分配到縮放步長為s_l的特征層K_l，此特征層包含有m²個特征點，其中m為特征層邊長，集合表示特征點在原圖的位置，其中x_i＝s₁×i，y_j＝s_l×j；

正樣本區域為非正樣本為其中區域大小按照ε_p＝0.75，ε_n＝1.25進行縮放；

當特征點在正樣本的區域內時，判定為正樣本；當特征點在正樣本和非正樣本的區域之間時，判定為忽略樣本；當特征點在非正樣本的區域之外時，判定為負樣本；

⑥對特征點的息肉目標分配和當前層的息肉目標篩選；

在判定正負樣本時，假設物體b屬于特征層i，i∈[0，k-1]，d＝|i-l|為當前特征層與最佳特征層的距離縮放大小取值為：

δ¹＝max(L_cosin(λ，d，k)，0)；

因此當前層的新非正樣本為：

其中，δ^l為計算求得的縮放非正樣本比例；

⑦對于不同息肉目標對于不同的特征層會生成不同的距離熱力值來輔助特征點對于當前位置的息肉目標判定，具體公式為：

其中：

min(x，y)取x，y中最小值，同理max(x，y)取x，y中最大值；

其中，left、right、top和bottom分別表示為特征點距離樣本框的左邊框、右邊框、上邊框和下邊框的距離；

生成的熱力圖在訓練階段使用binary cross entropy為損失函數，與步驟8得出的物體類別預測值進行點乘；

⑧訓練階段對于不同息肉目標對于不同的特征層在計算分類損失函數時會使用公式生成不同的權重；通過一個高斯分布公式對不同距離在計算損失時給予不同的權重具體公式為：

其中，α取值為1，c^b為目標物體位置，c^p為特征點位置；

⑨訓練階段對于特征點的位置大小的擬合損失函數使用平滑L1損失函數計算邊界框回歸損失L_loc，并使用函數對邊界框的特征點進行編碼：

其中，為回歸目標，β＝0.45；

⑩訓練階段對于特征點的分類使用以下損失函數：

L_F(p_t)＝-α_t(1-p_t)^γlog(p_t)；

其中L_F(p_t)為focal loss。L_CE為cross entropy分類損失函數，L_cls為最終分類損失函數。