[發明專利]一種識別眼底圖像中細胞的方法及裝置

在審

• 申請號: 202211071164.4
• 申請日: 2022-09-01
• 公開（公告）號: CN115424093A
• 公開（公告）日: 2022-12-02
• 發明（設計）人: 李凱文;殷琪;任驥;張杰
• 申請（專利權）人: 南京博視醫療科技有限公司
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/764;G06V10/82;G06V20/69;G06T7/00;G06T7/13;G06T7/11;G06T7/66
• 代理公司: 北京智丞瀚方知識產權代理有限公司 11810
• 代理人: 周學永

1.一種識別眼底圖像中細胞的方法，其特征在于，該方法包括：

對細胞圖像進行預處理；

構建訓練集和驗證集的圖像樣本和分類標簽樣本；其中分類標簽包括細胞標簽、細胞邊緣標簽和背景標簽；

利用訓練集和驗證集的圖像樣本和分類標簽樣本訓練和驗證神經網絡模型；

利用訓練和驗證后的神經網絡模型處理預處理后的細胞圖像，獲得細胞圖像的分類預測結果，并得到細胞概率結果；

根據細胞概率結果獲得細胞中心點。

2.根據權利要求1所述的方法，其特征在于，在圖像樣本中，當細胞邊緣內部所含細胞像素數量大于或等于預設值情況下，采用的分類標簽為細胞標簽、細胞邊緣標簽和背景標簽；當細胞邊緣內部所含細胞像素數量小于預設值的情況下，分類標簽為細胞標簽和背景標簽。

3.根據權利要求1所述的方法，其特征在于，該方法還包括：在所述構建訓練集和驗證集的圖像樣本和分類標簽樣本的同時，構建分類標簽所對應的權重標簽樣本；

利用訓練集和驗證集的圖像樣本、分類標簽樣本和權重標簽樣本訓練和驗證神經網絡模型；

所述利用訓練集和驗證集的圖像樣本、分類標簽樣本和權重標簽樣本訓練和驗證神經網絡模型包括特征提取模塊和與特征提取模塊連接的多任務學習模塊，多任務學習模塊用于完成分類任務、權重預測的線性回歸任務及任務間的交互；

所述任務間的交互為將權重預測的線性回歸任務最后一層卷積層輸出的結果與分類任務最后一層卷積層輸出的結果進行點乘操作，將點乘結果進行分類預測計算分類損失。

4.根據權利要求3所述的方法，其特征在于，所述利用訓練集和驗證集的圖像樣本、分類標簽樣本和權重標簽樣本訓練和驗證神經網絡模型還包括域自適應模塊，用于處理多種模態圖像；所述域自適應模塊與所述特征提取模塊相連。

5.根據權利要求1所述的方法，其特征在于，構建訓練集和驗證集的分類標簽樣本包括：

檢測已有數據集中二分類標簽的細胞邊緣輪廓，設置細胞邊緣對應的像素值為第三像素值，從而構建包含像素值為第一像素值的背景、像素值為第三像素值的細胞邊緣以及像素值為第二像素值的細胞的三分類標簽圖，其中，檢測到的細胞邊緣為圖像邊緣的情況下，設置細胞邊緣對應的像素值為第二像素值；或者手動標注細胞圖像，得到三分類標簽圖；

對預處理后的細胞圖像和所述三分類標簽圖進行采樣操作，獲得訓練集以及驗證集的圖像樣本和三分類標簽樣本。

6.根據權利要求1所述的方法，其特征在于，利用訓練和驗證后的神經網絡模型處理預處理后的細胞圖像包括：對預處理后的細胞圖像進行邊界擴展，并進行重疊采樣。

7.根據權利要求6所述的方法，其特征在于，利用訓練和驗證后的神經網絡模型處理預處理后的細胞圖像，獲得細胞圖像的分類預測結果，并得到細胞概率結果包括：采用批處理的方式，獲得重疊采樣后的多個細胞圖像樣本的輸出結果，并根據細胞圖像樣本在細胞圖像中的對應位置將某一位置出現的所有概率預測值進行累加并取均值或者取所有預測值的最大值作為該位置的概率預測結果，所有位置的概率預測結果構成細胞概率結果。

8.根據權利要求6所述的方法，其特征在于，在所述獲得重疊采樣后的多個細胞圖像樣本的輸出結果后，根據采樣大小建立加權圖，其中，加權圖中越靠近中心的位置權重越高；

取兩個與細胞圖像尺寸大小一致的全0矩陣，將每個細胞圖像樣本對應的輸出結果與加權圖進行點乘操作，根據當前細胞圖像樣本在細胞圖像中的位置，將對應的點乘結果加到第一矩陣的對應位置；將每個細胞圖像樣本對應的加權圖加到第二矩陣中各個細胞圖像樣本對應的位置；

將第一矩陣與第二矩陣進行點除操作，得到細胞概率結果。