[發(fā)明專利]基于局部和全局信息的角膜病圖像檢測分類方法及裝置

在審

• 申請?zhí)枺?/td>: 202211744277.6
• 申請日: 2022-10-31
• 公開（公告）號: CN115937609A
• 公開（公告）日: 2023-04-07
• 發(fā)明（設(shè)計(jì)）人: 姚玉峰;吳飛;李金緒;方鉦清;司雨軒;黃正行;況琨
• 申請（專利權(quán)）人: 浙江大學(xué)
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/762;G06V10/80;G06V10/40;G06V10/26;G06V10/10;G06V10/82;G06N3/048;G06N3/08;G06N3/0464
• 代理公司: 杭州裕陽聯(lián)合專利代理有限公司 33289
• 代理人: 金方瑋

1.一種基于局部和全局信息的角膜病圖像檢測分類方法，其特征在于，包括以下步驟：

S1：應(yīng)用超像素分割算法獲得超像素病灶區(qū)域集合；利用VGG16模型獲取基礎(chǔ)的深度特征，設(shè)計(jì)超像素平均池化模塊以結(jié)合超像素病灶區(qū)域集合提取局部特征與全局特征；

S2：全局特征與局部特征在通道維度上進(jìn)行序列拼接處理，利用注意力模塊進(jìn)行信息融合，獲得結(jié)合局部、全局信息的超像素病灶區(qū)域特征表示；

S3：利用結(jié)合了局部特征的全局主體特征進(jìn)行分類訓(xùn)練，對角膜病裂隙燈圖像做出分類預(yù)測；

S4：對超像素病灶區(qū)域進(jìn)行無監(jiān)督聚類與類別表示，并對角膜病裂隙燈圖像中的異常病灶區(qū)域進(jìn)行可視化展示。

2.根據(jù)權(quán)利要求1所述的基于局部和全局信息的角膜病圖像檢測分類方法，其特征在于，

所述步驟S1包含：

S11：對角膜病裂隙燈圖像進(jìn)行圓形區(qū)域檢測，獲取眼球的基本區(qū)域輪廓，并根據(jù)該輪廓進(jìn)行小范圍外擴(kuò)的眼球區(qū)域定位裁切；設(shè)置超像素區(qū)域數(shù)量參數(shù)m，應(yīng)用超像素分割算法獲得掩碼數(shù)據(jù)，其表現(xiàn)形式如Mask所示，

其中h,w分別表示裂隙燈圖像的高度與寬度，m_u,v∈{0,1,…m-1}表示該像素點(diǎn)所屬的超像素區(qū)域標(biāo)號，全部圖像進(jìn)行處理后構(gòu)建數(shù)據(jù)集data＝{image_i,mask_i}，其中表示角膜病裂隙燈圖像，表示超像素分割掩碼。

S12：應(yīng)用構(gòu)造的深度神經(jīng)網(wǎng)絡(luò)特征提取器對角膜病裂隙燈圖像進(jìn)行特征提取，對于張圖像image_i，特征提取器提取出對應(yīng)的特征圖其中c表示特征維度、h′表示特征圖的高度、w′表示特征圖的寬度，深度神經(jīng)網(wǎng)絡(luò)特征提取器在深度卷積網(wǎng)絡(luò)VGG16的基礎(chǔ)上，保留深度卷積網(wǎng)絡(luò)VGG16中的conv1、conv2、conv3的基準(zhǔn)單元，移除conv4和conv5中的Max-pooling層以保持特征圖的分辨率，同時(shí)移除全連接層；

S13：對每張圖像image_i的特征圖F_i通過雙線性插值上采樣將其調(diào)整到與image_i相同的分辨率大小，得到特征圖其中h表示特征圖F′_i的高度、w表示特征圖F′_i的寬度，對特征圖F′_i應(yīng)用超像素平均池化單元處理，將特征圖F′_i中的每個元素F′_i(u,v)按照其超像素標(biāo)號mask_i(u,v)進(jìn)行累計(jì)加和，獲得對應(yīng)的超像素區(qū)域的特征值，超像素平均池化模塊表示為：

每張圖片image_i由上得到超像素特征集合SP_i＝{Sp₀,Sp₁,…,sp_m-1}；為保持一致對整張圖進(jìn)行全局平均池化得到全局特征

3.根據(jù)權(quán)利要求1所述的基于局部和全局信息的角膜病圖像檢測分類方法，其特征在于，

所述步驟S2包含：

S21：在通道維度上對全局特征f_i及超像素特征集合SP_i＝{sp₀,sp₁,…,sp_m-1}進(jìn)行拼接，得到新的特征集合

S22：應(yīng)用局部-全局注意力模塊對特征集合g_i進(jìn)行融合處理：特征g_i經(jīng)過query、key、value層Embedding后分別得到對其進(jìn)行的多頭注意力處理，對于每一個head通過如下公式計(jì)算得到注意力分?jǐn)?shù)矩陣M_{h_i}

并最終得到融合特征

S23：令SP′_i＝g′_i[1:]，其表示為融合了局部-全局信息的超像素區(qū)域特征集合。