[發(fā)明專利]一種細胞涂片的圖像處理方法

在審

• 申請?zhí)枺?/td>: 202010582778.3
• 申請日: 2020-06-23
• 公開（公告）號: CN111882521A
• 公開（公告）日: 2020-11-03
• 發(fā)明（設計）人: 吳健;張久成;吳邊;王文哲
• 申請（專利權）人: 浙江大學山東工業(yè)技術研究院
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T5/00;G06N3/08;G06N3/04
• 代理公司: 浙江杭州金通專利事務所有限公司 33100
• 代理人: 徐關壽

1.一種細胞涂片的圖像處理方法，執(zhí)行以下操作：獲取病理圖片的電子圖像集，構建圖像訓練集，圖像訓練集包括細胞圖像集和染色圖像集，細胞圖像集中包括標注有細胞的切片圖像和標注無細胞的切片圖像，染色圖像集包括標注染色不理想的切片圖像和標注染色正常的切片圖像；

構建細胞識別神經(jīng)網(wǎng)絡，將細胞圖像集輸入細胞識別神經(jīng)網(wǎng)絡以訓練網(wǎng)絡，直到該細胞識別神經(jīng)網(wǎng)絡能夠準確識別圖像中是否有細胞；

構建圖像染色修復神經(jīng)網(wǎng)絡，將染色圖像集輸入細胞識別神經(jīng)網(wǎng)絡以訓練網(wǎng)絡，直到該染色修復神經(jīng)網(wǎng)絡能夠將輸入圖像以染色理想圖像輸出；

獲取待處理的當前圖像，對當前圖像切片，切片方式與圖像訓練集的切片方式相同；將切片圖像輸入訓練后的細胞識別神經(jīng)網(wǎng)絡，獲得有細胞的切片圖像；將有細胞的切片圖像輸入訓練后的圖像染色修復神經(jīng)網(wǎng)絡，若當前圖像具有1個以上的切片圖像，則在當前圖像的對應切片區(qū)域，獲得染色理想的區(qū)域圖像，所有切片圖像處理完成后，獲得染色理想的當前圖像。

2.根據(jù)權利要求1所述的細胞涂片的圖像處理方法，其特征在于，切片圖像的尺寸為顯微鏡下的視野范圍。

3.根據(jù)權利要求1所述的細胞涂片的圖像處理方法，其特征在于，構建圖像訓練集包括以下步驟：

（1.1）將病理電子圖像按照寬度和高度為512尺寸的視野切分圖像；

（1.2）分類訓練數(shù)據(jù)：對圖像按照是否有細胞進行標注，無細胞的圖像賦予標簽為0，有細胞的圖像賦予標簽為1；

（1.3）顏色修復訓練數(shù)據(jù)：按照染色情況對圖像區(qū)分標記，染色不理想圖像標記為源圖像集，染色正常圖像標記為目標圖像集。

4.根據(jù)權利要求1所述的細胞涂片的圖像處理方法，其特征在于，細胞識別神經(jīng)網(wǎng)絡使用視覺神經(jīng)網(wǎng)絡；

優(yōu)選的，細胞識別神經(jīng)網(wǎng)絡包括EfficientNet、ResNet、Inception、DenseNet中的一種或者幾種的組合；

首選EfficientNet，原因在于EfficientNet有較好分類性能的同時，占用較少的計算資源；構建分類神經(jīng)網(wǎng)絡模型并設置分類器為二分類，在（1）中的分類訓練數(shù)據(jù)上訓練收斂達到最優(yōu)，得到區(qū)分有無細胞的分類神經(jīng)網(wǎng)絡。

5.根據(jù)權利要求1所述的細胞涂片的圖像處理方法，其特征在于，圖像染色修復神經(jīng)網(wǎng)絡使用生成對抗網(wǎng)絡，生成對抗網(wǎng)絡包括GAN、StyleGAN、Pix2pixGAN、CycleGAN中的一種或幾種的組合；

首選CycleGAN，原因在于CycleGAN允許訓練數(shù)據(jù)不成對，降低對數(shù)據(jù)的要求，利于方法的適用性。

6.根據(jù)權利要求1所述的細胞涂片的圖像處理方法，其特征在于，圖像染色修復神經(jīng)網(wǎng)絡使用CycleGAN，CycleGAN有兩個生成器和兩個判別器，訓練具體步驟如下：

1）、源圖像輸入網(wǎng)絡進行訓練，通過判別器A計算源數(shù)據(jù)的判別器損失A，數(shù)據(jù)經(jīng)過生成器A生成一個假目標圖像，然后經(jīng)過判別器B處理，計算假目標圖像與目標圖像之間的生成器損失A；

2）、生成的假目標圖像經(jīng)過生成器B生成一個假源圖像，計算假源圖像與源圖像之間的循環(huán)損失A；

3）、目標數(shù)據(jù)輸入網(wǎng)絡進行訓練，通過判別器B計算目標圖像的判別器損失B，數(shù)據(jù)經(jīng)過生成器B生成一個假源圖像，然后經(jīng)過判別器A處理，計算假源圖像與源圖像之間的生成器損失B；

4）、生成的假源圖像經(jīng)過生成器A生成一個假目標圖像，計算假目標與目標圖像之間的循環(huán)損失B；

5）、以上述的判別器損失、生成器損失和循環(huán)損失最小化為目標指導網(wǎng)絡訓練，在訓練數(shù)據(jù)上收斂至最優(yōu)，得到收斂的正常顏色的圖像生成網(wǎng)絡。