[發明專利]基于自步學習和對抗生成網絡的眼底圖像分類系統

在審

• 申請號: 202310304634.5
• 申請日: 2023-03-27
• 公開（公告）號: CN116645539A
• 公開（公告）日: 2023-08-25
• 發明（設計）人: 邵偉;林熙翔;朱旗;張道強
• 申請（專利權）人: 南京航空航天大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/774;G06V10/82;G06T7/00;G06T7/11;G06N3/0464;G06N3/048;G06N3/08
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 常虹

本發明公開了一種基于自步學習和對抗生成網絡的眼底圖像分類系統，該分類系統包括下采樣層和全連接層，所述分類系統的輸入為眼底圖像，輸出為輸入圖像的類別預測概率；所述分類系統的訓練步驟包括：S1、構建訓練集；S2、構建預訓練子系統；S3、對預訓練子系統進行訓練；S4、構建聯合訓練子系統；S5、利用聯合訓練子系統對生成器、判別器和分類系統進行聯合訓練。該分類系統能夠在小樣本數據上訓練得到較為準確的眼底圖像分類系統。

技術領域

本發明屬于圖像分類技術領域，具體涉及一種基于自步學習和對抗生成網絡的眼底圖像分類系統。

背景技術

眼底圖像廣泛應用于糖尿病性視網膜病變(DR)等眼部疾病的計算機輔助診斷和篩查。在DR診斷中，病變的主要表現為動脈瘤、出血斑點、硬性滲出、棉絨斑以及黃斑水腫等，通過判斷DR眼底圖像是否包含微動脈瘤、出血點、滲出液等DR早期病理特征來對患者進行相應的診斷。利用機器學習或深度學習進行圖像的分類目前已能夠取得較為準確的效果，然而機器學習和深度學習均需要大量訓練數據，在小樣本數據中表現不夠好；對于醫學圖像而言，尚未有足夠的樣本能夠對機器學習和深度學習方法進行有效訓練，從而限制了計算機輔助診斷的應用。

此外，在眼底圖像分析中，病灶點、紋理等特征對DR診斷極為重要，而這些特征在圖像中往往是小面積區域，隱藏在陰影、黃斑、背景等大面積區域中。因此，如何從高可信度數據集中學習，從而避免由大量模糊數據在病灶點表現力弱的視覺環境下產生對模型學習的誤導的魯棒性學習策略，對分類的準確性是至關重要的。

發明內容

發明目的：針對現有技術中存在的問題，本發明提供一種基于自步學習和對抗生成網絡的眼底圖像分類系統，該分類系統能夠在小樣本數據上訓練得到較為準確的眼底圖像分類系統。

技術方案：本發明公開了一種基于自步學習和對抗生成網絡的眼底圖像分類系統，所述分類系統包括下采樣層和全連接層，所述分類系統的輸入為眼底圖像，輸出為輸入圖像的類別預測概率；

所述分類系統的訓練步驟包括：

S1、構建訓練集，所述訓練集中的一個樣本由樣本眼底圖像、病變類型標簽、文本描述組成；訓練集中所有樣本眼底圖像的分辨率統一至相同維度，并將像素值歸一化到[-1,1]范圍；所述文本描述由多個表達同一含義的句子組成；

S2、構建預訓練子系統，所述預訓練子系統包括：圖像編碼器、圖像解碼器、文本編碼器和血管分割網絡；

所述圖像編碼器用于提取輸入圖像的圖像特征，包括級聯兩個2D卷積單元，每個2D卷積單元由級聯的Conv2d層和池化層組成；

所述圖像解碼器用于根據圖像特征重建圖像，包括級聯的兩個ConvTranspose2d層；

所述文本編碼器用于提取圖像文本描述的文本特征，包括one-hot編碼層、三個級聯的1D卷積單元和一個全連接層；其中每個1D卷積單元由級聯的Conv1d層和池化層組成；全連接層將卷積單元的輸出轉化為長度是1024的一維向量；

所述血管分割網絡用于獲取眼底圖像的血管分割圖；

S3、對預訓練子系統進行訓練；

S4、構建聯合訓練子系統，所述聯合訓練子系統包括：生成器、判別器、采樣器；

所述生成器用于根據血管分割圖和圖像文本描述的文本特征生成虛擬眼底圖像；所述生成器包括級聯的8組下采樣單元和級聯的8組上采樣單元，每一組下采樣單元包括一層下采樣層、正則化層和激活函數；每一組上采樣單元包括一層上采樣層、正則化層和激活函數；第一組下采樣單元的輸入為血管分割圖；第8組下采樣單元的輸入為第7組下采樣單元的輸出與噪聲文本的拼接向量，所述噪聲文本為文本特征與隨機采樣的高斯噪聲的拼接向量；

第一組上采樣單元的輸入為第8組下采樣單元的輸出，第2組到第8組上采樣單元的輸入為：