[發明專利]量化食管粘膜IPCLs血管形態分布的深度檢測網絡

有效

• 申請號: 202011263459.2
• 申請日: 2020-11-12
• 公開（公告）號: CN112419246B
• 公開（公告）日: 2022-07-22
• 發明（設計）人: 鐘蕓詩;顏波;蔡世倫;譚偉敏;王沛晟;李吉春;阿依木克地斯·亞力孔
• 申請（專利權）人: 復旦大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T3/40;G06N3/08;G06N3/04
• 代理公司: 上海正旦專利代理有限公司 31200
• 代理人: 陸飛;陸尤

1.一種量化食管粘膜IPCLs血管形態分布的聚簇分布先驗自嵌入的深度檢測系統，其特征在于，具體包括：特征提取骨干網絡、特征金字塔網絡、區域候選網絡、興趣區域池化與聚簇分布先驗自嵌入的癌灶分類網絡，以及在窄帶成像內鏡圖像上進行可視化的輔助診斷系統；其中：

（1）所述特征提取骨干網絡，在ResNet-50基礎上構建，包括50個卷積層，用于提取輸入圖像的特征圖；具體是分別在ResNet-50模型的layer1,2,3,4層的末尾抽取特征圖，抽取出的特征圖分別擁有256、512、1024、2048通道，特征圖的大小分別為1/4、1/8、1/16、1/32的原圖大小；特征圖送入特征金字塔網絡；

（2）特征金字塔網絡，用于將不同尺度的特征相融合，首先使用1×1的卷積將特征圖全部統一到256通道，隨后自頂向下逐層將上層的特征上采樣至兩倍大小，并與下層的特征相加，進行3×3的卷積；得到多尺度的特征圖：其大小分別為1/4、1/8、1/16、1/32的原圖大小，通道數均為256通道；

（3）所述區域候選網絡，用于提取可能的病灶區域；其中，首先使用錨生成器生成密集的矩形候選框；矩形的候選框共有5×3種不同的尺寸，由五種不同的大小與三種不同的形狀組合而成；特征金字塔中各層的特征經過一個3×3的卷積和一個1×1卷積，通過Softmax來判斷上述候選框屬于正樣本或負樣本；最后通過12通道1×1的卷積，進行三種形狀的邊界框回歸，修正不精確的候選框；

（4）所述興趣區域池化與聚簇分布先驗自嵌入的癌灶分類網絡，其中，興趣區域池化是通過對感興趣區域池化將特征池化到可疑病灶區域；聚簇分布先驗自嵌入的癌灶分類網絡用于對癌灶進行分類；具體是將感興趣區域用與坐標軸平行的矩形邊界框框出，并給出該區域的癌灶分類結果，即正常A類區域或病變區域B1、B2、B3類；該網絡首先從特征金字塔不同層級的特征圖中提取感興趣區域，將其對齊，并最大池化至7×7，使得每個興趣區域對應于一個256×7×7大小的特征；隨后將每個感興趣區域的特征與其相鄰的K個近鄰的特征疊加，形成一個(256×K)×7×7形狀的特征圖，從而使分類網絡運用到潛在的癌灶分布先驗；此后通過全連接層產生兩條輸出支路：第一條支路輸出每個特征區域的位置偏移量，用于進一步修正檢測框的位置；第二條支路通過Softmax函數計算特征的分類概率，得出區域的癌灶類別；其中全連接層將展平(256×K)×7×7形狀的特征圖，形成(12544×K)×1×1的特征，而全連接層的輸出為1024通道，第一條支路的輸出為20通道，即每個類別對應邊界框四個坐標5×4，第二條支路的輸出為5通道，即包含負樣本在內的5個類別；

（5）所述在窄帶成像內鏡圖像上進行可視化的輔助診斷系統，最后在窄帶成像內鏡圖像上進行可視化顯示，使用不同的顏色對癌灶進行框選標記；具體地，輸入為窄帶成像內鏡圖像；使用前述網絡對癌灶進行檢測和診斷，使用不同顏色的檢測框代表不同的癌灶類型，即用綠色、紅色、紫色、黑色分別代表A、B1、B2、B3四類，同時標記出檢測框的分類置信度；隨后對所有檢測框的置信度進行篩選，剔除掉置信度小于閾值T₁的所有檢測框，再運用非極大值抑制剔除掉交并比大于閾值T₂的多余重疊框；其中T₁、T₂取遍[0,1]范圍內步長為0.05的所有值，并通過比較F₁-分數來確定最優的閾值T₁、T₂。