[發明專利]一種基于多尺度殘差的膠囊內窺鏡圖像超分辨率重建方法

在審

• 申請號: 202210539075.1
• 申請日: 2022-05-18
• 公開（公告）號: CN114842104A
• 公開（公告）日: 2022-08-02
• 發明（設計）人: 黃勝;陳賢龍;廖星;曹維俊;牟星宇
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06V10/80;G06V10/82;G06T3/40;G06N3/04;A61B1/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于多尺度殘差的膠囊內窺鏡圖像超分辨率重建方法，其特征在于，能夠對膠囊內窺鏡采集到的圖像進行相應處理，得到結構、紋理等特征更加清晰的膠囊內窺鏡超分辨率圖像，具體包括以下步驟：

步驟1、獲取待診斷患者的膠囊內窺鏡圖像，獲取預先訓練完成的超分辨率重建網絡，該超分辨重建網絡由兩個部分組成，一部分是由淺層特征提取模塊、多尺度殘差特征提取模塊和層次特征處理模塊組成的特征提取部分，另一部分是由亞像素層上采樣方法和一個以3x3為大小的卷積核構成的卷積層所組成的圖像重建模塊；

步驟2、將待重建的膠囊內窺鏡圖像輸入淺層特征提取模塊進行淺層特征提取，獲得一級特征圖，淺層特征提取模塊是卷積核大小為3x3的卷積層；

步驟3、將一級特征圖順次經過n個多尺度殘差特征提取模塊，生成獲得二級特征圖；

步驟4、提取各個多尺度殘差特征提取模塊中生成的層級特征圖，將二級特征圖與各個多尺度殘差特征提取模塊中生成的層級特征圖輸入層次特征處理模塊，利用層次特征處理模塊將二級特征圖與層級特征圖進行融合，并對圖像中重要的特征進行增強，然后輸出得到三級特征圖；

步驟5、將三級特征圖送入一個以3x3為卷積核構成的卷積層，進行進一步的特征提取，生成四級特征圖；

步驟6、將四級特征圖輸入圖像重建模塊，進行放大重建，得到超分辨率膠囊內窺鏡圖像，超分辨率膠囊內窺鏡圖像的分辨率大于待重建的膠囊內窺鏡圖像。

2.根據權利要求1所述的膠囊內窺鏡圖像超分辨率重建方法，其特征是：所述多尺度殘差特征提取模塊，采用殘差塊為基本結構單元，每個殘差塊由兩個卷積層和一個ReLU激活函數組成，對于殘差塊可用如下數學模型進行表示：

B₁＝φ₂(σ₁(φ₁(B)))+B

B₂＝φ₄(σ₂(φ₃(B)))+B

其中B表示的輸入殘差塊的信息，φ₁(·)和φ₂(·)表示的是以3x3為卷積核的卷積操作，φ₃(·)和φ₄(·)表示的是以5x5為卷積核的卷積操作，σ₁(·)和σ₂(·)表示的是以ReLU為激活函數的信息激活操作，B₁和B₂表示的是分別以3x3和5x5為卷積核的殘差塊的輸出；

多尺度殘差特征提取模塊由8個并行分支組成，具體可以用如下數學模型進行表示：

Y₁＝B₁₁(X)

Y₂＝B₂₁(X)

Y₃＝F₃(concat(B₁₂(F₁(concat([Y₁,Y₂]))),B₂₂(F₂(concat([Y₁,Y₂]))),

B₁₃(X),B₂₃(X),X))

Y₄＝B₁₄(Y₃)

Y₅＝B₂₄(Y₃)

Y₆＝F₆(concat(B₁₅(F₄(concat([Y₄,Y₅]))),B₂₅(F₅(concat([Y₄,Y₅]))),

B₁₆(Y₃),B₂₆(Y₃),B₁₇(X),B₂₇(X),Y₃))

Y＝F₇(Y₆)+X

其中X表示的是輸入多尺度殘差特征提取模塊的信息，B₁₁(·)、B₁₂(·)、B₁₃(·)、B₁₄(·)、B₁₅(·)、B₁₆(·)和B₁₇(·)表示的是以3x3為卷積核殘差塊，B₂₁(·)、B₂₂(·)、B₂₃(·)、B₂₄(·)、B₂₅(·)、B₂₆(·)和B₂₇(·)表示的是以5x5為卷積的殘差塊，concat(·)表示的是一個特征融合操作，F₁(·)、F₂(·)、F₃(·)、F₄(·)、F₅(·)和F₆(·)表示的是以1x1為卷積核的卷積操作，F₇(·)表示的是以3x3為卷積核的卷積操作，Y表示的是單個多尺度特征提取模塊的最終輸出。