[發明專利]融合全局和局部信息的弱監督宮頸細胞圖像分析方法

有效

• 申請號: 202110777703.5
• 申請日: 2021-07-09
• 公開（公告）號: CN113378792B
• 公開（公告）日: 2022-08-02
• 發明（設計）人: 史駿;吳坤;唐昆銘;賀雨欣;祝新宇;孫宇;李俊;鄭鈺山;姜志國
• 申請（專利權）人: 合肥工業大學
• 主分類號: G06V40/13
• 分類號: G06V40/13;G06V10/44;G06V10/774;G06K9/62;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 安徽省合肥新安專利代理有限責任公司 34101
• 代理人: 陸麗莉;何梅生

1.一種融合全局和局部信息的弱監督宮頸細胞圖像分析方法，其特征是按照如下步驟進行的：

步驟1、獲取帶有圖片類別標簽的宮頸細胞視野圖像數據集B＝{B₁,B₂,...,B_n,...,B_N}，其中，B_n表示包含若干不同類別細胞的第n張宮頸細胞視野圖像，且部分細胞的位置及類別在宮頸細胞視野圖像上有粗粒度的標注；并有：表示第n張宮頸細胞視野圖像中的第c個細胞；C_n表示第n張宮頸細胞視野圖像的細胞總數；

步驟2、建立融合全局和局部信息的弱監督網絡模型，所述弱監督網絡模型由細胞檢測模塊、細胞核特征提取模塊、局部信息提取模塊、全局信息提取模塊和跨越注意力特征融合模塊組成；

步驟2.1、所述細胞檢測模塊使用目標檢測網絡Yolo對宮頸細胞視野圖像數據集B進行檢測，得到每張宮頸細胞視野圖像的檢測結果，記為A＝{A₁,A₂,...,A_n,...,A_N}，A_n表示第n張宮頸細胞視野圖像B_n中所有細胞的位置與類別信息；并有：表示第n張宮頸細胞視野圖像B_n中第c個細胞的位置與類別信息；且分別為第c個細胞的外接矩形邊界框的兩個對角頂點在第n張宮頸細胞視野圖像的位置坐標，為第c個細胞的類別；

步驟2.2、令所述細胞核特征提取模塊依次由：一個卷積層、一個歸一化層、ReLu激活函數、四個殘差模塊以及一個平均池化層組成；

第n張宮頸細胞視野圖像的檢測結果A_n輸入所述細胞核特征提取模塊后輸出第n張宮頸細胞視野圖像B_n的細胞核特征圖其中，D是單個細胞特征維度；

步驟2.3、所述局部信息提取模塊包括：預處理模塊和多個ViT編碼器；每個ViT編碼器依次包括：第一個層歸一化模塊、一個層數可調節的多頭注意力模塊、第二個層歸一化模塊、一個多層感知器和兩個殘差模塊；其中的一個殘差模塊是連接上一個ViT編碼器的輸入與當前ViT編碼器的多頭注意力模塊的輸出；另一個殘差模塊是連接當前ViT編碼器的第二個層歸一化模塊的輸入與當前ViT編碼器的多層感知器的輸出；

所述預處理模塊將第n張宮頸細胞視野圖像B_n的細胞核特征圖F_n劃分為p個特征圖塊，每個特征圖塊按照不同通道展平為二維特征向量，將每個特征圖塊在細胞核特征圖F_n對應的位置作為位置向量并嵌入到自身展平后的二維特征向量中，同時將細胞核特征圖F_n的類別信息息作為類別向量并嵌入到自身展平后的二維特征向量的首部，從而得到細胞核特征圖F_n的特征圖塊Z_n∈R^{(p·Channels)×D}，其中，Channels是圖像的通道數；

將特征圖塊Z_n依次送入多個ViT編碼器中并最終輸出局部信息特征圖dim為提取后的單個細胞特征維數；

步驟2.4、所述全局信息提取模塊是包括展平模塊和雙向長短時記憶網絡模塊；

所述展平模塊將所述細胞核特征圖F_n展平成一維的序列化向量，再對其按照長度的降序進行排序后，排序后的向量送入到所述雙向長短時記憶網絡中，并輸出全局信息特征圖h_n；

步驟2.5、所述跨越注意力特征融合模塊對所述局部信息特征圖P_n進行線性變換，得到第n個鍵K_n和第n個值V_n；并對所述全局信息特征圖h_n進行線性變換，得到第n個查詢值q_n；再對第n個鍵K_n、第n個值V_n和第n個查詢值q_n進行融合處理，得到注意力得分s_n和注意力特征z_n；最后將全局信息特征圖h_n與注意力特征z_n相加后，得到第n張宮頸細胞視野圖像B_n中的分類特征將局部信息特征圖P_n與注意力得分s_n相乘后，得到第n張宮頸細胞視野圖像B_n中每個細胞的分類特征；

步驟3、利用式(1)和式(2)所示的交叉熵損失函數分別得到視野圖像分類的損失值L₁以及細胞分類的損失值L₂：

式(1)和式(2)中，y_nc為第n張宮頸細胞視野圖像B_n是類別c的真值，正類為1，負類為0，p_nc為模型輸出的第n張宮頸細胞視野圖像B_n為類別c的概率值，為第n張宮頸細胞視野圖像B_n中所有細胞的真實類別的真值，并有表示第n張宮頸細胞視野圖像B_n中第c個細胞的類別真值，為模型對B_n中所有細胞的預測真實類別的概率，且有表示第n張宮頸細胞視野圖像B_n中第c個細胞類別預測的概率；

利用式(3)建立總的損失值L：

L＝L₁+λ×L₂ (3)

式(3)中，λ為超參數；

將所述宮頸細胞視野圖像訓練集數據B輸入所述弱監督網絡模型進行離線訓練，并采用Adam優化器對所述總的損失值L進行優化求解，從而調整所述弱監督網絡模型中的所有參數，并得到最優弱監督分類模型，用于對宮頸細胞圖像進行分析，以實現圖像分類以及細胞分類。