[發明專利]基于數字病理圖像的細胞靶點表達預測方法、系統及裝置

有效

• 申請號: 202011606836.8
• 申請日: 2020-12-30
• 公開（公告）號: CN112669288B
• 公開（公告）日: 2023-02-24
• 發明（設計）人: 田捷;杜洋;邊暢;王宇;安羽;王瀚帆
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/11;G16H50/30
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

本發明屬于醫學圖像處理領域，具體涉及了一種基于數字病理圖像的細胞靶點表達預測方法、系統及裝置，旨在解決現有細胞靶點表達觀測分析方法成本高昂、周期長以及需要專家進行人工判讀，因而效率低、客觀性較弱的問題。本發明包括：獲取HE染色數字掃描圖像，并通過滑窗裁剪成設定大小的HE圖像切片；進行色域歸一化以及圖像對比度增強的預處理，獲得預處理HE圖像切片；通過細胞靶點表達預測模型獲取不同細胞熒光表達的概率分布圖；對于任一像素點，以其對應于概率分布圖的概率最大的類別作為預測類別。本發明預測效率高、客觀性強、預測結果準確率和精度高。

技術領域

本發明屬于醫學圖像處理領域，具體涉及了一種基于數字病理圖像的細胞靶點表達預測方法、系統及裝置。

背景技術

近年來，腫瘤免疫治療在基礎和臨床研究中均取得長足發展。腫瘤微環境(TME，Tumor microenvironment)是指導腫瘤免疫治療的重要因素，由腫瘤細胞以及多種免疫細胞群構成。更好地了解腫瘤微環境，觀測腫瘤微環境中多種細胞類型的相互作用關系，對指導腫瘤免疫治療具有重要意義。

目前對TME的研究一般是對離體腫瘤樣本進行檢測，對腫瘤細胞、多種免疫細胞和靶點在顯微層次定性和定量分析。通常使用多光譜免疫熒光染色(mIHC，multiplexedimmunohistochemistry)技術來對腫瘤樣本中TME的多種細胞表達蛋白同時進行顯微熒光成像檢測。

然而mIHC方法存在成本高昂，實驗周期長等局限性，并且多種染色之間易出現串色，影響表征的準確性。此外，多光譜染色結果通常需要病理學家進行人工判讀，很大程度上依賴于判讀人員的專業性，存在一定的主觀性。

總的來說，本領域還急需一種數據驅動的計算方法，利用深度神經網絡挖掘病理圖像中的深層語義信息，以實現從病理HE染色圖像中預測細胞靶點的熒光表達的方法。

發明內容

為了解決現有技術中的上述問題，即現有細胞靶點表達觀測分析方法成本高昂、周期長以及需要專家進行人工判讀，因而效率低、客觀性較弱的問題，本發明提供了一種基于數字病理圖像的細胞靶點表達預測方法，該預測方法包括：

步驟S10，獲取HE染色數字掃描圖像作為待預測圖像；

步驟S20，通過滑窗將所述待預測圖像裁剪成設定大小的HE圖像切片，并對所述HE圖像切片進行色域歸一化以及圖像對比度增強的預處理，獲得預處理HE圖像切片；

步驟S30，通過訓練好的細胞靶點表達預測模型獲取所述預處理HE圖像切片對應的不同細胞熒光表達的概率分布圖；

步驟S40，對于任一像素點，以其對應于所述概率分布圖的概率最大的類別作為預測類別；

其中，所述細胞靶點表達預測模型以編碼器-解碼器網絡結構作為深度學習的基本架構，并引入多尺度卷積模塊將編碼器中的單分支卷積通道替換為多分支、不同尺度的卷積通道。

在一些優選的實施例中，所述細胞靶點表達預測模型，其訓練方法為：

步驟B10，獲取同組織樣本的HE染色數字掃描圖像和mIHC染色掃描圖像對集作為模型的訓練樣本對集；

步驟B20，對于所述訓練樣本對集中每一個訓練樣本對，分別執行：

進行訓練樣本對的噪點去除，并通過滑窗將所述訓練樣本對裁剪成設定大小的HE圖像切片和mIHC圖像切片對；

在所述HE圖像切片上分別進行所述mIHC圖像切片各通道的全局剛性配準和彈性配準，并進行各通道配準圖像切片融合，獲得配準HE圖像切片和配準mIHC圖像切片對；

對所述配準HE圖像切片進行基于光譜的色域歸一化以及直方圖均衡化的圖像對比度增強，獲得預處理HE圖像切片；