[發(fā)明專利]視網(wǎng)膜圖像識(shí)別方法及裝置、電子設(shè)備、存儲(chǔ)介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010102291.0
• 申請日: 2020-02-19
• 公開（公告）號(hào): CN111325725A
• 公開（公告）日: 2020-06-23
• 發(fā)明（設(shè)計(jì)）人: 張夢蕾
• 申請（專利權(quán)）人: 京東方科技集團(tuán)股份有限公司
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00;G06T7/10;G06K9/62
• 代理公司: 北京風(fēng)雅頌專利代理有限公司 11403
• 代理人: 李莎

1.一種視網(wǎng)膜圖像識(shí)別方法，包括：

獲取視網(wǎng)膜圖像；

利用第一神經(jīng)網(wǎng)絡(luò)模型對所述視網(wǎng)膜圖像進(jìn)行分類，得到圖像分類結(jié)果；

若所述圖像分類結(jié)果滿足預(yù)設(shè)條件，利用第二神經(jīng)網(wǎng)絡(luò)模型對所述視網(wǎng)膜圖像進(jìn)行分割，得到圖像分割結(jié)果；

根據(jù)所述圖像分割結(jié)果，結(jié)合決策樹模型，生成所述視網(wǎng)膜圖像的識(shí)別結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

輸出所述視網(wǎng)膜圖像的圖像分類結(jié)果、圖像分割結(jié)果和識(shí)別結(jié)果中的至少其一。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第一神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)為Inception V4模型，所述第一神經(jīng)網(wǎng)絡(luò)模型包括依次設(shè)置的輸入層、基礎(chǔ)卷積層模塊、混合層模塊、第一Inception模塊、第二Inception模塊、第三Inception模塊、平均池化模塊、第一卷積層、第一同分布處理層、最大池化層、第二卷積層、第二同分布處理層和輸出層；所述第一神經(jīng)網(wǎng)絡(luò)模型使用交叉熵函數(shù)作為損失函數(shù)。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，利用第二神經(jīng)網(wǎng)絡(luò)模型對所述視網(wǎng)膜圖像進(jìn)行分割，得到圖像分割結(jié)果，包括：

獲取所述視網(wǎng)膜圖像對應(yīng)的特征映射；

利用區(qū)域候選網(wǎng)絡(luò)算法，從所述特征映射中得到多個(gè)感興趣區(qū)域；

對每個(gè)所述感興趣區(qū)域進(jìn)行感興趣區(qū)域?qū)?zhǔn)處理，得到每個(gè)所述感興趣區(qū)域的對準(zhǔn)后特征映射；

利用基于全卷積網(wǎng)絡(luò)的Faster RCNN算法對每個(gè)所述感興趣區(qū)域的對準(zhǔn)后特征映射進(jìn)行處理，得到每個(gè)所述感興趣區(qū)域的分類信息、每個(gè)所述感興趣區(qū)域的坐標(biāo)位置和每個(gè)所述感興趣區(qū)域的掩模。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述第二神經(jīng)網(wǎng)絡(luò)模型包括特征提取模塊、感興趣區(qū)域獲取模塊、對準(zhǔn)模塊和輸出模塊；所述特征提取模塊用于獲取所述視網(wǎng)膜圖像對應(yīng)的特征映射；

其中，所述特征提取模塊通過以下方法獲得：

從已經(jīng)訓(xùn)練完成的所述第一神經(jīng)網(wǎng)絡(luò)模型中選擇能夠生成特征映射的模塊；

將被選擇的模塊遷移到所述第二神經(jīng)網(wǎng)絡(luò)模型中作為所述特征提取模塊；其中，被選擇的模塊包括基礎(chǔ)卷積層模塊、混合層模塊、第一Inception模塊、第二Inception模塊、第三Inception模塊中的至少一個(gè)。

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述圖像分類結(jié)果包括存在視網(wǎng)膜病變和不存在視網(wǎng)膜病變；所述圖像分割結(jié)果包括所述感興趣區(qū)域的分類、所述感興趣區(qū)域的坐標(biāo)位置和所述感興趣區(qū)域的掩模；所述感興趣區(qū)域的分類包括視網(wǎng)膜病變類型；所述預(yù)設(shè)條件為存在視網(wǎng)膜病變。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，根據(jù)所述圖像分割結(jié)果，結(jié)合決策樹模型，生成所述視網(wǎng)膜圖像的識(shí)別結(jié)果，包括：

利用所述決策樹模型，根據(jù)所述感興趣區(qū)域的分類，得到所述視網(wǎng)膜圖像的視網(wǎng)膜病變程度；

根據(jù)所述感興趣區(qū)域的坐標(biāo)位置和所述感興趣區(qū)域的掩模，得到所述視網(wǎng)膜圖像的病變位置和病變掩模；

生成包括視網(wǎng)膜病變程度、視網(wǎng)膜病變類型、病變位置和病變掩模的視網(wǎng)膜圖像識(shí)別結(jié)果。

8.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

獲取視網(wǎng)膜圖像樣本；

對視網(wǎng)膜圖像樣本進(jìn)行標(biāo)注；

將標(biāo)注后的視網(wǎng)膜圖像樣本制作成訓(xùn)練數(shù)據(jù)集；

利用所述訓(xùn)練數(shù)據(jù)集訓(xùn)練所述第一神經(jīng)網(wǎng)絡(luò)模型、所述第二神經(jīng)網(wǎng)絡(luò)模型和所述決策樹模型。

9.根據(jù)權(quán)利要求8所述的方法，其特征在于，還包括：

對所述視網(wǎng)膜圖像樣本進(jìn)行圖像數(shù)據(jù)增強(qiáng)處理；其中，所述圖像數(shù)據(jù)增強(qiáng)處理的方法包括：旋轉(zhuǎn)圖像、剪切圖像、改變圖像色差、扭曲圖像特征、改變圖像尺寸大小、增強(qiáng)圖像噪音中的至少一種。