[發明專利]基于自下而上路徑增強的細胞實例分割方法

在審

• 申請號: 202011019366.5
• 申請日: 2020-09-25
• 公開（公告）號: CN112164077A
• 公開（公告）日: 2021-01-01
• 發明（設計）人: 陳昱蒞;賈宇航;陸鋮;馬苗;裴炤;李雪;任敬
• 申請（專利權）人: 陜西師范大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/136;G06T3/40;G06K9/62
• 代理公司: 西安永生專利代理有限責任公司 61201
• 代理人: 申忠才

1.一種基于自下而上路徑增強的細胞實例分割方法，其特征在于由下述步驟組成；

(1)數據預處理

從PanNuke數據集中取原始圖片分為驗證集、測試集、訓練集，驗證集與測試集、訓練集的數量比為1：1：4，訓練集、驗證集、測試集中的圖片大小為550×550像素，將訓練集、驗證集、測試集圖片中的每個細胞提取出來生成新的包含單個細胞的掩碼圖片，掩碼圖片的大小為550×550像素，用pycocotools工具將訓練集、驗證集、測試集中的圖片和對應數據集的掩碼圖片轉化為標簽文件；

(2)構建實例分割網絡

實例分割網絡由主干網分支(1)、預測頭分支(2)、原型掩碼分支(3)連接構成，主干分支(1)的輸出與預測頭分支(2)和原型掩碼分支(3)中的輸入相連，主干網分支(1)、預測頭分支(2)、原型掩碼分支(3)的構建方法如下：

1)構建主干網分支

a特征金字塔網絡提取特征圖

將訓練集中的每張圖片輸入到特征金字塔網絡的基礎特征提取網絡(1-1)中提取特征圖，得到基礎特征圖集合{C1，C2，C3，C4，C5}；

b融合特征圖

將基礎特征圖集合{C1，C2，C3，C4，C5}輸入到特征金字塔網絡(1-2)中，進行特征融合，得到融合特征圖集合{P₃，P₄，P₅，P₆，P₇}，用最近鄰上采樣法進行上采樣，得到256通道的特征圖集合，在特征金字塔網絡輸出的特征圖上依次連接5個卷積核大小為3×3、步長為2的卷積層，構成路徑增強網絡(1-3)，由下式得到路徑增強網絡特征圖集合{N₃，N₄，N₅，N₆，N₇}，構建成主干網分支(1)；

式中R為rule激活函數，C₃為卷積核大小為3×3、步長為2的卷積層，U為矩陣相加，i∈{3，4，5，6，7}；

2)構建預測頭分支

預測頭分支包括定位分支、分類分支、掩碼系數分支；

a構建定位分支

將路徑增強網絡特征圖集合{N₃，N₄，N₅，N₆，N₇}中的每個特征圖上的每個像素點設置面積依次為[24,48,96,192,384]，長與寬比分別為1、1/2、2的錨，構成錨特征圖，將錨特征圖輸入卷積層(2-1)、卷積層(2-2)，經2次卷積核大小為3×3、步長為1的卷積操作，得到(A×S，L_j，L_j)的特征圖，將(A×S，L_j，L_j)的特征圖的第一維與第三維位置進行交換，得到(L_j，L_j，A×S)的特征圖，再將(L_j，L_j，A×S)的特征圖第一維、第二維、第三維中的A進行相乘，得到(L_j×L_j×A，S)的預測結果，其中A為每個像素點設置的3個錨，S為錨的中心點和左上角點的坐標；將得到的(L_j×L_j×A，S)預測結果的第一維進行列拼接操作，得到(C，S)的定位結果，其中C由下式確定：

式中L_j∈{69,35,18,9,5}，j∈{1,2,3,4,5}，構建成定位分支(2-3)；

b構建分類分支

將路徑增強網絡特征圖集合{N₃，N₄，N₅，N₆，N₇}中的每個特征圖上的每個像素點設置面積依次為[24,48,96,192,384]，長與寬比分別為1、1/2、2的錨，構成錨特征圖，將錨特征圖輸入卷積層(2-1)、卷積層(2-2)，經卷積核大小為3×3、步長為1的卷積操作，得到(A×D，L_j，L_j)的特征圖，將(A×D，L_j，L_j)特征圖的第一維與第三維位置進行交換，得到(L_j，L_j，A×D)的特征圖，再將(L_j，L_j，A×D)的特征圖第一維、第二維、第三維中的A進行相乘，得到(L_j×L_j×A，D)的預測結果，其中D表示訓練集中離體的細胞類別數，將得到的(L_j×L_j×A，D)預測結果的第一維進行列拼接操作，得到(C，D)的分類結果，構建成分類分支(2-4)；

c構建掩碼系數分支

將路徑增強網絡特征圖集合{N₃，N₄，N₅，N₆，N₇}中的每個特征圖上的每個像素點設置面積依次為[24,48,96,192,384]，長與寬比分別為1、1/2、2的錨，構成錨特征圖，錨特征圖輸入卷積層(2-1)、卷積層(2-2)，經卷積核大小為3×3、步長為1的卷積操作，得到(A×K，L_j，L_j)的特征圖，將(A×K，L_j，L_j)的特征圖的第一維與第三維位置進行交換，得到(L_j，L_j,A×K)的特征圖，再將(L_j，L_j，A×K)的特征圖第一維、第二維、第三維中的A進行相乘，得到(L_j×L_j×A，K)的預測結果，其中K是生成掩碼系數的個數，K為32或64；將得到的(L_j×L_j×A，K)預測結果的第一維進行列拼接操作，得到(C，K)的掩碼系數，構建成掩碼系數分支(2-5)；

3)構建原型掩碼分支

將路徑增強網絡特征圖集合{N₃，N₄，N₅，N₆，N₇}中的N₃輸入卷積層(3-1)、卷積層3-2)，經卷積核大小為3×3、步長為1的卷積操作，用最近鄰上采樣法將卷積后的N₃上采樣到原始圖片尺寸的1/4，經2次重復的卷積層(3-3)、(3-4)，得到(32,138,138)的特征圖，將(32,138,138)的特征圖的第一維與第三維進行位置交換，得到(138，138，32)的原型掩碼P，構建成原型掩碼分支(3)；

(3)訓練實例分割網絡

(a)確定損失函數

損失函數Loss包括類別損失、預測框回歸損失、掩碼損失，損失函數loss由下式確定：

Loss＝αL_cls+βL_box+θL_mask

式中α、β、θ為三個損失的不同權重，分別為1、1.5、6.125；

(b)訓練實例分割網絡

將訓練集、對應的標簽文件、ImageNet網絡上的預訓練模型輸入到實例分割網絡中進行訓練，在訓練過程中，設定實例分割網絡的學習率γ為0.0001，優化器設定為自適應矩估計優化器，迭代M次，每次迭代使用圖片的數量為B，M和B為有限正整數，訓練至實例分割網絡的損失函數Loss收斂；

(4)保存權重文件

每迭代F次保存1次權重文件，其中F≤M，得到保存權重文件；

(5)驗證實例分割網絡

將驗證集和對應的標簽文件輸入到實例分割網絡中進行驗證，網絡每F次進行一次驗證；

(6)測試實例分割網絡

將保存權重文件、測試數據集以及對應的標簽文件輸入到實例分割網絡中進行測試，按下式得到實例掩碼Q：

Q＝σ(PW^T)

式中P為原型掩碼，W為經過非極大值抑制和得分閾值處理后保留N×K大小的掩碼系數，N為保留的掩碼系數的個數，T為矩陣的轉置，σ為sigmoid非線性激活函數，用構建預測頭分支步驟(2)得到的(C，S)的定位結果對實例掩碼Q進行裁剪和閾值為0.5的閾值化處理，得到細胞的實例分割。