[發(fā)明專利]一種基于GACNN的多標(biāo)簽眼底圖像識(shí)別方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110075947.9
• 申請(qǐng)日: 2021-01-20
• 公開（公告）號(hào): CN112766376A
• 公開（公告）日: 2021-05-07
• 發(fā)明（設(shè)計(jì)）人: 胡敏;朱潤(rùn)筍;黃宏程
• 申請(qǐng)（專利權(quán)）人: 重慶郵電大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06T7/00
• 代理公司: 重慶輝騰律師事務(wù)所 50215
• 代理人: 盧勝斌

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，特別涉及一種基于GACNN的多標(biāo)簽眼底圖像識(shí)別方法，包括獲取原始眼底圖像，并將進(jìn)行預(yù)處理；構(gòu)建GACNN模型，并利用經(jīng)過(guò)預(yù)處理的帶標(biāo)簽原始眼底圖像進(jìn)行訓(xùn)練，GACNN模型包括卷積神經(jīng)網(wǎng)絡(luò)、圖注意網(wǎng)絡(luò)和融合層，卷積神經(jīng)網(wǎng)絡(luò)用于提取圖像特征；圖注意網(wǎng)絡(luò)用于對(duì)眼底多標(biāo)簽之間的關(guān)系進(jìn)行建模，將眼底圖像的各個(gè)標(biāo)簽看做一組相互依賴的節(jié)點(diǎn)，利用歷史數(shù)據(jù)進(jìn)行訓(xùn)練得到多標(biāo)簽分類器；融合層將卷積神經(jīng)網(wǎng)絡(luò)和圖注意力網(wǎng)絡(luò)得到的特征進(jìn)行融合，得到最后的分類結(jié)果；將待檢測(cè)的原始眼底圖像輸入訓(xùn)練好的GACNN模型，輸出帶標(biāo)簽的識(shí)別結(jié)果；本發(fā)明對(duì)眼底圖像中的多標(biāo)簽進(jìn)行識(shí)別時(shí)充分考慮到標(biāo)簽之間的相關(guān)性，且提高了眼底圖像的識(shí)別準(zhǔn)確性。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，特別涉及一種基于GACNN(圖注意卷積神經(jīng)網(wǎng)絡(luò))的多標(biāo)簽眼底圖像識(shí)別方法。

背景技術(shù)

眼底圖像是眼科醫(yī)生診療眼底疾病的主要依據(jù)，眼底圖像處理有著極高的意義。由于高度近視人群在不斷的增長(zhǎng)且高度近視可能會(huì)導(dǎo)致眼底病變的發(fā)生從而失明，這就給眼科醫(yī)生的篩查帶來(lái)了極大的壓力，利用計(jì)算機(jī)技術(shù)來(lái)處理眼底圖像能有效的幫助醫(yī)生緩解這種壓力。在眼底圖像識(shí)別的研究中通常有基于傳統(tǒng)圖像處理的方法以及基于深度學(xué)習(xí)的方法。在基于傳統(tǒng)圖像處理的分類方法上需要人為的設(shè)計(jì)特征并且處理圖像，但是在近視性眼底疾病的圖像中通常有多種疾病共存，不同疾病的特征表達(dá)交織在一起，人為設(shè)計(jì)特征來(lái)識(shí)別疾病是十分困難的。隨著深度學(xué)習(xí)技術(shù)在圖像處理領(lǐng)域取得的重大突破，越來(lái)越多的研究采用深度學(xué)習(xí)技術(shù)來(lái)處理眼底圖像。利用深度學(xué)習(xí)技術(shù)就可以避免人為設(shè)計(jì)特征帶來(lái)的誤差，只需要將眼底圖像與相應(yīng)的眼底疾病的標(biāo)簽進(jìn)行對(duì)應(yīng)，并將其制成數(shù)據(jù)集輸入卷積神經(jīng)網(wǎng)絡(luò)模型中訓(xùn)練模型，最終可以得到一個(gè)模型來(lái)進(jìn)行近視性眼底疾病診斷。

利用深度學(xué)習(xí)技術(shù)來(lái)對(duì)眼底疾病進(jìn)行分類時(shí)需要考慮到一張眼底圖像會(huì)對(duì)應(yīng)到多種眼底疾病標(biāo)簽，這是一個(gè)多標(biāo)簽圖像分類問題。目前圖像的多標(biāo)簽分類方法主要有基于問題轉(zhuǎn)換方法和基于算法轉(zhuǎn)換算法。

有的多標(biāo)簽分類算法已經(jīng)能很好的對(duì)標(biāo)簽數(shù)據(jù)集進(jìn)行學(xué)習(xí)分類，但是在眼底圖像中由于眼底疾病的特征并不明顯且不同疾病之間的具有一定關(guān)聯(lián)性，如出現(xiàn)黃斑病變則大概率會(huì)出現(xiàn)脈絡(luò)膜萎縮等疾病。由于以上因素，現(xiàn)有的多標(biāo)簽分類算法無(wú)法取得較為準(zhǔn)確的分類結(jié)果。

發(fā)明內(nèi)容

為了提升眼底圖像的識(shí)別效果，本發(fā)明提出一種基于GACNN的多標(biāo)簽眼底圖像識(shí)別方法，具體包括以下步驟：

獲取原始眼底圖像，并將進(jìn)行預(yù)處理；

構(gòu)建GACNN模型，并利用經(jīng)過(guò)預(yù)處理的帶標(biāo)簽原始眼底圖像進(jìn)行訓(xùn)練；

將待檢測(cè)的原始眼底圖像輸入訓(xùn)練好的GACNN模型，輸出帶標(biāo)簽的識(shí)別結(jié)果。

進(jìn)一步的，對(duì)獲取的原始眼底圖像進(jìn)行預(yù)處理包括：

對(duì)原始眼底圖片進(jìn)行歸一化處理，將所有圖片處理為224×224像素的圖片；

利用利用直方圖均衡化對(duì)原始眼底圖片進(jìn)行圖像增強(qiáng)處理，突出原始眼底圖片中眼底視盤和血管。

進(jìn)一步的，GACNN模型包括卷積神經(jīng)網(wǎng)絡(luò)、圖注意網(wǎng)絡(luò)和融合層，卷積神經(jīng)網(wǎng)絡(luò)用于提取圖像特征；圖注意網(wǎng)絡(luò)用于對(duì)眼底多標(biāo)簽之間的關(guān)系進(jìn)行建模，將眼底圖像的各個(gè)標(biāo)簽看做一組相互依賴的節(jié)點(diǎn)，利用歷史數(shù)據(jù)進(jìn)行訓(xùn)練得到多標(biāo)簽分類器；融合層將卷積神經(jīng)網(wǎng)絡(luò)和圖注意力網(wǎng)絡(luò)得到的特征進(jìn)行融合，得到最后的分類結(jié)果。

進(jìn)一步的，卷積神經(jīng)網(wǎng)絡(luò)包括5個(gè)卷積塊，卷積塊之間通過(guò)一個(gè)最大池化層進(jìn)行連接，在每個(gè)卷積塊經(jīng)過(guò)最大池化到下一個(gè)卷積塊之前，先將該卷積塊得到的feature maps進(jìn)行全局最大池化的操作得到一個(gè)特征向量，將每個(gè)卷積塊得到的特征向量進(jìn)行拼接，得到圖像特征。

進(jìn)一步的，圖注意網(wǎng)絡(luò)包括多層圖注意層，根據(jù)圖注意網(wǎng)絡(luò)訓(xùn)練得到獲取多標(biāo)簽分類器的過(guò)程包括：