[發明專利]基于數字病理圖像的腫瘤微環境空間關系建模系統與方法

在審

• 申請號: 202210060093.1
• 申請日: 2022-01-19
• 公開（公告）號: CN114565919A
• 公開（公告）日: 2022-05-31
• 發明（設計）人: 秦文健;刁頌輝;何佳慧;侯嘉馨
• 申請（專利權）人: 深圳先進技術研究院
• 主分類號: G06V20/69
• 分類號: G06V20/69;G06V10/26;G06V10/762;G06V10/77;G06V10/774;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京市誠輝律師事務所 11430
• 代理人: 耿慧敏;朱偉軍

1.一種基于數字病理圖像的腫瘤微環境空間關系建模系統，包括：

圖像染色標準化模塊：用于確定病理圖像的像素分布類型，根據病理圖像各像素的整體分布情況對染色分布變化進行顏色標準化，獲得染色標準化圖像；

結構區域分割模塊：用于針對所述染色標準化圖像，利用弱監督深度學習模型檢測感興趣區域，進而分割得到目標結構區域；

細胞檢測模塊：用于從獲得的目標結構區域中提取多種類型的細胞信息；

空間關系構建模塊：用于采用多層圖建模多層網絡來表征多種類型細胞之間的共空間分布，并對所述多層圖進行聚類分析，得到空間分布定量模型，其中所述空間分布定量模型用于定量表征腫瘤細胞與腫瘤微環境相互之間的作用，所述多層圖包含層內關系和層間相互作用，同層節點表示同一類型細胞，不同層之間的連接表示不同類型細胞或結構之間的空間連接關系。

2.一種基于數字病理圖像的腫瘤微環境空間關系建模方法，包括以下步驟：

步驟S1：確定病理圖像的像素分布類型，根據病理圖像各像素的整體分布情況對染色分布變化進行顏色標準化，獲得染色標準化圖像；

步驟S2：針對所述染色標準化圖像，利用弱監督深度學習模型檢測感興趣區域，進而分割得到目標結構區域；

步驟S3：從獲得的目標結構區域中提取多種類型的細胞信息；

步驟S4：用于采用多層圖建模多層網絡來表征多種類型細胞之間的共空間分布，并對所述多層圖進行聚類分析，得到空間分布定量模型，其中所述空間分布定量模型用于定量表征腫瘤細胞與腫瘤微環境相互之間的作用，所述多層圖包含層內關系和層間相互作用，同層節點表示同一類型細胞，不同層之間的連接表示不同類型細胞或結構之間的空間連接關系。

3.根據權利要求2所述的方法，其特征在于，所述弱監督深度學習模型的輸入融合多個倍率的圖像信息，并且訓練過程采用多倍率正則化損失作為優化目標，表示為：

其中，I_d表示d倍率下的圖像輸入，f_θ，η表示在θ參數下、η的注意權重下的特征計算，η根據Softmax(f_θ(I))進行計算，是真實值與預測值之間的損失，R(S)是正則化損失，參數S＝f_θ(I)∈[0，1]^|Ω|×K，K表示通道數，λ和μ是設定的權重參數，I表示圖像，Y表示圖像對應的標簽。

4.根據權利要求2所述的方法，其特征在于，步驟S3包括以下子步驟：

將所提取的目標結構區域的特征圖X轉換為視覺標記T；

利用自注意力變換進行T之間依賴關系的建模，并投射到正常特征圖的維度，表示為：

X_out＝X_in+SOFTMAX_L((X_inW_Q)(tW_K)^t)T+G

其中，G是關鍵判別矩陣，W_Q和W_K是權重參數，X_in表示多尺度病理圖像腫瘤區域檢測時獲得的圖像特征，X_out表示輸出結果；

根據構建的圖像各特征關系，通過數據學習，實現對不同類型細胞的識別和定位。

5.根據權利要求2所述的方法，其特征在于，所述多層圖包括不重疊的m層，每一層都由鄰接矩陣為A_i，i＝1，…，m的加權圖G_i建模，集合A＝{A₁，A₂，…，A_m}中的元素稱為層內矩陣，表示層內連接；對于兩個圖之間聯系的建模，G_k和G_l以及它們的鄰接矩陣分別表示為A_k和A_l，其代表了兩個相關圖的節點之間一對一的對稱內部連接，跨層鄰接矩陣的集合C_p＝{A_l，k，k≠l}，表示不同層的節點之間的邊，p代表聯系圖的數量，其中，k，l＝1，2，…，m，k≠l。