[發明專利]基于多通道結構的消化道內窺鏡圖片病灶識別系統

在審

• 申請號: 202110568218.7
• 申請日: 2021-05-25
• 公開（公告）號: CN113034500A
• 公開（公告）日: 2021-06-25
• 發明（設計）人: 戴捷;李亮
• 申請（專利權）人: 紫東信息科技（蘇州）有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/11;G06K9/46;G06N3/04;G06N3/08;G16H30/20
• 代理公司: 北京金訊知識產權代理事務所(特殊普通合伙) 11554
• 代理人: 黃劍飛

1.一種基于多通道結構的消化道內窺鏡圖片病灶識別系統，其包括：

訓練數據獲取標注模塊，用于獲取多組訓練數據，每組訓練數據包括消化道內窺鏡圖片和消化道內窺鏡圖片的病灶類別和病灶區域；

預處理模塊，用于對所述消化道內窺鏡圖片進行預處理，得到處理后的消化道內窺鏡圖片；

模型構建模塊，用于構建預設的網絡模型，所述預設的網絡模型包括多個并行的不同粒度通道網絡，與所述多個并行的不同粒度通道網絡全部相連的共享解碼網絡；所述多個并行的不同粒度通道網絡均由圖片切割層和多層Transformer構成，用于抽取消化道內窺鏡圖片的圖片特征；所述共享解碼網絡由卷積神經網絡構成，用于解碼消化道內窺鏡圖片特征，輸出消化道內窺鏡圖片病灶定位及分類預測；

模型訓練模塊，用于將所述處理后的消化道內窺鏡圖片輸入預設的網絡模型，并使用預設的損失函數對所述網絡模型進行訓練，得到識別模型；

識別模塊，用于利用所述識別模型結合非極大值抑制算法對輸入的消化道內窺鏡圖片進行識別。

2.根據權利要求1所述的系統，其中所述Transformer至少包括用于獲取序列特征的多頭注意力部分、用于非線性變換的前饋傳播部分和用于歸一化的加和標準化部分，前饋傳播部分位于多頭注意力部分之后，在前饋傳播部分和多頭注意力部分的輸出位置分別構建加和標準化部分。

3.根據權利要求1所述的系統，其中對消化道內窺鏡圖片進行預處理包括：縮放裁剪處理、去均值處理、歸一化處理之一或其任意組合。

4.根據權利要求1所述的系統，其中所述的多個并行的不同粒度通道網絡中的圖片切割層對所述的消化道內窺鏡圖片進行不同粒度切割。

5.根據權利要求1所述的系統，其中所述的共享解碼網絡可由全連接神經網絡實現。

6.根據權利要求1所述的系統，其中所述預設的損失函數為：

其中， 為像素點類別輸出，為類別標簽，為像素點的位置輸出，為位置標簽，為類別誤差，采用焦點損失Focal Loss計算，L_reg為位置誤差，采用IoU損失計算，N_pos表示像素點的數量， 為指示器，當時等于1，否則等于0，為Lreg的平衡因子。

7.根據權利要求1所述的系統，其中所述消化道內窺鏡圖片的病灶類別包括：胃癌、胃潰瘍、胃炎、胃糜爛、十二指腸潰瘍之一或其任意組合。