[發明專利]一種基于改進Faster RCNN的顯微高光譜白細胞檢測方法

在審

• 申請號: 202111282117.X
• 申請日: 2021-11-01
• 公開（公告）號: CN114037671A
• 公開（公告）日: 2022-02-11
• 發明（設計）人: 李良軍;曾凡一;黃杰;蘇穎;石爽;蔡虹
• 申請（專利權）人: 大連醫科大學附屬第二醫院
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/90;G06K9/62;G06N3/04;G06N3/08;G06V10/764;G06V10/80;G06V10/82;G06V20/69;G01N21/25
• 代理公司: 遼寧鴻文知識產權代理有限公司 21102
• 代理人: 苗青

1.一種基于改進Faster RCNN的顯微高光譜白細胞檢測方法，其特征在于，步驟如下：

(1)建立白細胞數據集：使用顯微高光譜系統采集血液涂片的偽彩圖像以及光譜圖像，對偽彩圖像進行顏色矯正，并對五類白細胞進行框選和類別的標注，對光譜圖像進行黑白矯正，制作為訓練數據集及驗證數據集；

所述的偽彩圖像由667.4、557.2和440.5三個波段分別代表R，G，B三個通道來合成的RGB圖像，對偽彩圖像使用Gamma進行顏色矯正；

所述的光譜圖像的黑白矯正具體指：采集一副空玻片光譜圖像作為矯正使用的白色參考圖像，即規定空白玻片的光譜反射率為最高值；將光譜相機的鏡頭蓋蓋上，關閉光源，采集一幅純黑環境下的光譜圖像，作為矯正的黑色參考圖像，即規定該無光環境下的光譜反射率為最小值；之后將所有的光譜圖像的數據基于白色參考圖像和黑色參考圖像進行歸一化處理，得到矯正后的光譜圖像；圖像視野內的每一個白細胞都會被框選并基于對應的分類標簽；對于每一張圖像來說，最終的數據集包括一張偽彩圖像、一張光譜圖像、一個包含該圖像中所含白細胞的定位框坐標和分類標簽的屬性文件；

(2)構建偽彩圖像特征提取網絡：采用Resnet18作為Faster RCNN的特征提取網絡；

Resnet 18以3*3的小卷積核進行搭建，網絡內部的特征提取模塊為Conv Block塊和Identity Block塊，二者交叉排列，Conv Block塊用來對圖像進行壓縮，Identity Block塊不會對圖像尺寸做出改變，兩個特征提取模塊將提取出的特征與原始特征相結合，得到公共特征層；

光譜圖像的特征提取網絡采用基于1*3卷積核的Conv1D+MaxPooling1D層的形式進行搭建；

(3)構建RPN提議網絡，負責自動生成初始的目標先驗框，以及對目標先驗框進行初步的分類和后續根據目標先驗框最終篩選得到建議框，并在公共特征層截取相應特征；

偽彩圖像在經過圖像特征提取網絡后得到的公共特征層有兩個應用，公共特征層的第一個用途是將其經過一次3*3尺寸卷積，之后繼續分為兩個網絡分支，其一用來對每個點生成9個先驗框；其二生成每個先驗框與真實標注框的偏差值；之后這兩組特征被相繼傳入propasal與ROI Pooling層中分別進行先驗框的初步分類與最終建議框的篩選；公共特征層的第二個用途是輸入到ROI Pooling層中，根據篩選出的建議框截取相應的特征塊，并統一特征快尺寸，得到最終的目標特征；

(4)構建建議框坐標返回網絡分支：采用全連接層來搭建建議框坐標返回網絡分支，并對其進行解碼，用于得到目標特征塊在原圖上的坐標值；

(5)構建光譜數據提取模塊：使用Faster RCNN檢測網絡末端定位框坐標分支得到的四個坐標值作為光譜提取數據模塊的輸入，按照該坐標截取光譜圖像中對應區域的全波段數據，之后求其平均光譜值，得到平均光譜曲線作為光譜特征提取網絡的輸入；

偽彩圖像輸入到Faster RCNN網絡經過Resnet 18提取完特征后，經過RPN網絡，RPN網絡會判定圖像中哪些區域為細胞主體，并得到大小不等的特征塊，在經過ROI Pooling層后，由網絡提議的特征塊被轉化為統一的尺寸；之后的Faster RCNN分為兩支，一支為預測定位框坐標的返回網絡，用于學習并返回預測出的細胞定位框的四個坐標以及和屬性文件中標注定位框坐標的偏差值；另一支為細胞五分類的分類網絡；光譜數據儲存在raw類型的圖片文件中，該文件類型是將光譜圖片中所有像素在各個波段對應的反射率數值首尾相接的排列成一維列表，需要先將其按照圖像的長×高×波段數的格式重新排列為一個三維的數據塊，之后利用基于偽彩圖像得到的細胞預測坐標框的四個坐標值截取出對應的像素點以及其在所有波段的反射率數值，在每一個波段下求取所有像素點的反射率平均值，得到一個平均光譜曲線，作為光譜特征網絡的輸入；

(6)構建光譜特征提取網絡：額外構建一維光譜數據特征提取網絡，輸出為一維的光譜特征；

經過光譜數據提取模塊得到的各細胞的平均光譜曲線為一維數據，因此面向光譜的特征提取網絡選用Conv1D進行搭建；該網絡以Conv1D+Max Pooling的結構搭建，對350維的光譜數據進行了壓縮，在得到特征層后，進行Flatten操作，得到一維全特征層，再連接一個全連接Dense層，之后再與Faster RCNN末尾細胞分類分支中的偽彩圖像特征層相連接；

(7)特征融合網絡的構建：光譜特征提取網絡末端提取出的特征與Faster RCNN末端基于細胞偽彩圖像分類的特征層相融合，之后再連接整體的分類網絡，實現基于細胞圖像空間和光譜的融合特征進行分類的目的；

Faster RCNN的分類分支中在使用softmax層進行分類之前，會將RPN層得到的特征塊進行flatten操作變成一個一維的特征層，光譜特征提取網絡的最后一層同樣是一維的特征層，將兩個特征層按照1:1的權重進行拼接，得到一個包含空間和光譜特征在內的融合特征層，之后再接softmax的分類層，實現基于融合特征的分類。