[發明專利]一種基于GACNN的多標簽眼底圖像識別方法

在審

• 申請號: 202110075947.9
• 申請日: 2021-01-20
• 公開（公告）號: CN112766376A
• 公開（公告）日: 2021-05-07
• 發明（設計）人: 胡敏;朱潤筍;黃宏程
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06T7/00
• 代理公司: 重慶輝騰律師事務所 50215
• 代理人: 盧勝斌

1.一種基于GACNN的多標簽眼底圖像識別方法，其特征在于，具體包括以下步驟：

獲取原始眼底圖像，并將進行預處理；

構建GACNN模型，并利用經過預處理的帶標簽原始眼底圖像進行訓練；

將待檢測的原始眼底圖像輸入訓練好的GACNN模型，輸出帶標簽的識別結果。

2.根據權利要求1所述的一種基于GACNN的多標簽眼底圖像識別方法，其特征在于，對獲取的原始眼底圖像進行預處理包括：

對原始眼底圖片進行歸一化處理，將所有圖片處理為224×224像素的圖片；

利用利用直方圖均衡化對原始眼底圖片進行圖像增強處理，突出原始眼底圖片中眼底視盤和血管。

3.根據權利要求1所述的一種基于GACNN的多標簽眼底圖像識別方法，其特征在于，GACNN模型包括卷積神經網絡、圖注意網絡和融合層，卷積神經網絡用于提取圖像特征；圖注意網絡用于對眼底多標簽之間的關系進行建模，將眼底圖像的各個標簽看做一組相互依賴的節點，利用歷史數據進行訓練得到多標簽分類器；融合層將卷積神經網絡和圖注意力網絡得到的特征進行融合，得到最后的分類結果。

4.根據權利要求3所述的一種基于GACNN的多標簽眼底圖像識別方法，其特征在于，卷積神經網絡包括5個卷積塊，卷積塊之間通過一個最大池化層進行連接，在每個卷積塊經過最大池化到下一個卷積塊之前，先將該卷積塊得到的feature maps進行全局最大池化的操作得到一個特征向量，將每個卷積塊得到的特征向量進行拼接，得到圖像特征。

5.根據權利要求3所述的一種基于GACNN的多標簽眼底圖像識別方法，其特征在于，圖注意網絡包括多層圖注意層，根據圖注意網絡訓練得到獲取多標簽分類器的過程包括：

將眼底標簽的特征表示成一個F維的詞嵌入向量，將各個節點的詞嵌入向量組合起來，作為圖注意層的輸入；

在圖注意層中通過固定大小的共享矩陣對輸入該層的特征進行線性變換，并利用自我注意機制作用于節點，計算每個節點之間的相關系數；

使用SoftMax函數對當前節點的所有鄰接點的注意力系數進行歸一化，得到注意力系數；

根據得到的注意力系數更新當前節點的特征向量，并將該特征向量作為下一層圖注意層的輸入，重復以上輸入，知道經過所有圖注意層，其中最后一層圖注意層輸出的節點特征的維度與卷積神經網絡輸出的特征向量的維度相同；

將這些節點特征映射到一組相互依賴的多標簽分類器。

6.根據權利要求5所述的一種基于GACNN的多標簽眼底圖像識別方法，其特征在于，圖注意網絡中設置有3層圖注意層，第一層圖注意層中共享矩陣的大小為F'×F，其中F為輸入圖注意層眼底標簽的特征表示的F維詞嵌入向量；第二層圖注意層中共享矩陣的大小為F”×F'；第三層圖注意層中共享矩陣的大小為D×F”，其中D為卷積神經網絡輸出的特征向量的維度。

7.根據權利要求6所述的一種基于GACNN的多標簽眼底圖像識別方法，其特征在于，第一層圖注意層中共享矩陣中F'＝1/2D，第二層圖注意層中共享矩陣中F”＝3/4D。

8.根據權利要求5所述的一種基于GACNN的多標簽眼底圖像識別方法，其特征在于，根據得到的注意力系數更新當前節點的特征向量表示為：

其中，表示更新后的第N個標簽節點的特征向量；N表示共有N個待識別的標簽；表示融合了i的鄰接節點特征后的節點i的新的特征向量；σ(·)表示激活函數；α_ij為節點j對接點i的注意力系數；為節點j的特征向量；W為特征變換矩陣；N_i表示與節點i相鄰的節點集合。