[發明專利]基于自下而上路徑增強的細胞實例分割方法

在審

• 申請號: 202011019366.5
• 申請日: 2020-09-25
• 公開（公告）號: CN112164077A
• 公開（公告）日: 2021-01-01
• 發明（設計）人: 陳昱蒞;賈宇航;陸鋮;馬苗;裴炤;李雪;任敬
• 申請（專利權）人: 陜西師范大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/136;G06T3/40;G06K9/62
• 代理公司: 西安永生專利代理有限責任公司 61201
• 代理人: 申忠才

一種基于自下而上路徑增強的細胞實例分割方法，由數據預處理、構建實例分割網絡、訓練實例分割網絡、保存模型、驗證實例分割網絡、測試實例分割網絡步驟組成。采用構建實例分割網絡步驟中的主干網分支來提取圖片中的特征，預測頭分支生成實例的定位、分類、掩碼系數信息，原型掩碼分支生成原型掩碼，通過線性結合掩碼系數與原型掩碼，對圖片中的細胞進行實例分割。本發明與現有的Yolact方法相比，通過改進構建實例分割網絡中的特征融合部分，充分利用了圖片中信息，提高了物體的定位、分類的準確率，可用于細胞的定位、分類與實例分割。

技術領域

本發明屬于計算機視覺技術領域，具體地涉及到圖片中的細胞分類、定位與實例分割。

背景技術

實例分割是目標檢測和語義分割的結合，在圖像中將目標檢測出來，然后對每個像素打上標簽；隨著互聯網的發展和個人智能移動設備的大量增加，人們正產生、存儲和使用大量的圖片；實例分割技術在計算機視覺中是基礎而又具有挑戰性的。由于其廣泛的應用場景和研究價值，該技術在學術界和工業界均引起了越來越多的關注。

目前主流的物體實例分割方法可以分成兩大類別：基于ROI的自上而下的方法(如Mask R-CNN)和基于逐像素聚類、自下而上的方法，這些方法存在的主要問題是多階段、多超參數、分割結果不夠精細等問題。

在細胞實例分割技術領域，當前需解決的一個技術問題是提供一種方法簡單、定位速度快、定位精度高的細胞實例分割方法。

發明內容

本發明所要解決的技術問題在于克服上述現有技術的缺點，提供一種方法簡單、定位速度快、定位精度高的基于自下而上路徑增強的細胞實例分割方法。

解決上述技術問題所采用的技術方案是由下述步驟組成：

(1)數據預處理

從PanNuke數據集中取原始圖片分為驗證集、測試集、訓練集，驗證集與測試集、訓練集的數量比為1：1：4，訓練集、驗證集、測試集中的圖片大小為550×550像素，將訓練集、驗證集、測試集圖片中的每個細胞提取出來生成新的包含單個細胞的掩碼圖片，掩碼圖片的大小為550×550像素，用pycocotools工具將訓練集、驗證集、測試集中的圖片和對應數據集的掩碼圖片轉化為標簽文件。

(2)構建實例分割網絡

實例分割網絡由主干網分支(1)、預測頭分支(2)、原型掩碼分支(3)連接構成，主干分支(1)的輸出與預測頭分支(2)和原型掩碼分支(3)中的輸入相連，主干網分支(1)、預測頭分支(2)、原型掩碼分支(3)的構建方法如下：

1)構建主干網分支

a特征金字塔網絡提取特征圖

將訓練集中的每張圖片輸入到特征金字塔網絡的基礎特征提取網絡(1-1)中提取特征圖，得到基礎特征圖集合{C1，C2，C3，C4，C5}。

b融合特征圖

將基礎特征圖集合{C1，C2，C3，C4，C5}輸入到特征金字塔網絡(1-2)中，進行特征融合，得到融合特征圖集合{P₃，P₄，P₅，P₆，P₇}，用最近鄰上采樣法進行上采樣，得到256通道的特征圖集合，在特征金字塔網絡輸出的特征圖上依次連接5個卷積核大小為3×3、步長為2的卷積層，構成路徑增強網絡(1-3)，由下式得到路徑增強網絡特征圖集合{N₃，N₄，N₅，N₆，N₇}，構建成主干網分支(1)。

式中R為rule激活函數，C₃為卷積核大小為3×3、步長為2的卷積層，U為矩陣相加，i∈{3，4，5，6，7}。