[發(fā)明專利]基于數(shù)字病理圖像的細胞靶點表達預測方法、系統(tǒng)及裝置

有效

• 申請?zhí)枺?/td>: 202011606836.8
• 申請日: 2020-12-30
• 公開（公告）號: CN112669288B
• 公開（公告）日: 2023-02-24
• 發(fā)明（設(shè)計）人: 田捷;杜洋;邊暢;王宇;安羽;王瀚帆
• 申請（專利權(quán)）人: 中國科學院自動化研究所
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/11;G16H50/30
• 代理公司: 北京市恒有知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

1.一種基于數(shù)字病理圖像的細胞靶點表達預測方法，其特征在于，該預測方法包括：

步驟S10，獲取HE染色數(shù)字掃描圖像作為待預測圖像；

步驟S20，通過滑窗將所述待預測圖像裁剪成設(shè)定大小的HE圖像切片，并對所述HE圖像切片進行色域歸一化以及圖像對比度增強的預處理，獲得預處理HE圖像切片；

步驟S30，通過訓練好的細胞靶點表達預測模型獲取所述預處理HE圖像切片對應(yīng)的不同細胞熒光表達的概率分布圖；

步驟S40，對于任一像素點，以其對應(yīng)于所述概率分布圖的概率最大的類別作為預測類別；

其中，所述細胞靶點表達預測模型以編碼器-解碼器網(wǎng)絡(luò)結(jié)構(gòu)作為深度學習的基本架構(gòu)，并引入多尺度卷積模塊將編碼器中的單分支卷積通道替換為多分支、不同尺度的卷積通道，所述細胞靶點表達預測模型，其訓練方法為：

步驟B10，獲取同組織樣本的HE染色數(shù)字掃描圖像和mIHC染色掃描圖像對集作為模型的訓練樣本對集；

步驟B20，對于所述訓練樣本對集中每一個訓練樣本對，分別執(zhí)行：

進行訓練樣本對的噪點去除，并通過滑窗將所述訓練樣本對裁剪成設(shè)定大小的HE圖像切片和mIHC圖像切片對；

在所述HE圖像切片上分別進行所述mIHC圖像切片各通道的全局剛性配準和彈性配準，并進行各通道配準圖像切片融合，獲得配準HE圖像切片和配準mIHC圖像切片對；

對所述配準HE圖像切片進行基于光譜的色域歸一化以及直方圖均衡化的圖像對比度增強，獲得預處理HE圖像切片；

基于所述配準mIHC圖像切片進行所述預處理HE圖像切片的標注，獲得HE圖像切片標注；

步驟B30，通過步驟B20獲得的預處理HE圖像切片和HE圖像切片標注對的集合，通過最小化交叉熵的方法迭代進行所述細胞靶點表達預測模型的訓練，直至達到預設(shè)訓練次數(shù)，獲得訓練好的細胞靶點表達預測模型。

2.根據(jù)權(quán)利要求1所述的基于數(shù)字病理圖像的細胞靶點表達預測方法，其特征在于，步驟B20中進行訓練樣本對的噪點去除，并通過滑窗將所述訓練樣本對裁剪成設(shè)定大小的HE圖像切片和mIHC圖像切片對，其方法為：

分別通過N×N的中值濾波器進行所述訓練樣本對的噪點去除，獲得濾波HE圖像和濾波mIHC圖像對；

通過滑窗在所述濾波mIHC圖像中選擇設(shè)定大小的mIHC圖像，獲得mIHC圖像切片；

計算所述濾波HE圖像中與濾波mIHC圖像切片尺寸相同的各區(qū)域各通道的相關(guān)性系數(shù)，并以相關(guān)性系數(shù)最大的HE圖像區(qū)域作為HE圖像切片。

3.根據(jù)權(quán)利要求1所述的基于數(shù)字病理圖像的細胞靶點表達預測方法，其特征在于，所述全局剛性配準包括圖像旋轉(zhuǎn)、平移和縮放。

4.根據(jù)權(quán)利要求1所述的基于數(shù)字病理圖像的細胞靶點表達預測方法，其特征在于，步驟B20中對所述配準HE圖像切片進行基于光譜的色域歸一化，其方法為：

保留所述配準HE圖像切片的結(jié)構(gòu)信息，以無監(jiān)督的方式將所述配準HE圖像切片分解為非負、稀疏的染色強度矩陣；

選取標準HE染色圖像作為模板圖像，通過融合所述非負、稀疏的染色強度矩陣與所述模板圖像的色彩偏差進行所述配準HE圖像切片的色域分布的標準化，獲得色域歸一化后的配準HE圖像切片。

5.根據(jù)權(quán)利要求1所述的基于數(shù)字病理圖像的細胞靶點表達預測方法，其特征在于，步驟B20中基于所述配準mIHC圖像切片進行所述預處理HE圖像切片的標注，其方法為：

基于所述配準mIHC圖像切片各通道的熒光靶點表達信號對所述預處理HE圖像切片進行除DAPI外的其余細胞靶點標注；

利用基于細胞核分割數(shù)據(jù)集的預訓練分割模型進行所述預處理HE圖像切片表征細胞核的DAPI熒光分布的粗分割，獲得粗分割結(jié)果；

基于所述配準mIHC圖像切片中的DAPI分布對所述粗分割結(jié)果進行手動精分割，獲得所述預處理HE圖像切片的DAPI熒光的分布標簽；

融合所述預處理HE圖像切片的DAPI熒光的分布標簽以及除DAPI外的其余細胞靶點標注，獲得HE圖像切片標注。