[發明專利]生成未染色樣本的虛擬染色圖像

在審

• 申請號: 201880077801.4
• 申請日: 2018-12-12
• 公開（公告）號: CN111433817A
• 公開（公告）日: 2020-07-17
• 發明（設計）人: C-H.吳;H-W.張;J.希格比;A.霍梅克;C.圣托里
• 申請（專利權）人: 威里利生命科學有限責任公司
• 主分類號: G06T11/00
• 分類號: G06T11/00;A61B5/00
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 金玉潔

1.一種計算機實施的方法，包括：

訪問包括多個圖像對的圖像訓練數據集，其中：

所述多個圖像對中的每一個圖像對包括當第一組織樣本未染色時獲取的所述第一組織樣本的第一圖像，以及當所述第一組織樣本被染色時獲取的所述第一組織樣本的第二圖像；

所述第一圖像包括所述第一組織樣本的第一多個光譜圖像，并且所述第一多個光譜圖像中的每一個光譜圖像包括來自不同波長帶的數據；以及

所述第二圖像包括多種顏色，對于所述第二圖像內的多個位置中的每一個位置，所述多種顏色指示在所述位置處至少一種染色劑結合到所述第一組織樣本的程度；

訪問人工神經網絡的參數集，其中，所述參數集包括與所述人工神經網絡內的人工神經元相關聯的權重；

通過使用所述圖像訓練數據集和所述參數集來訓練所述人工神經網絡以調整所述權重；

訪問未染色的第二組織樣本的第三圖像，其中，所述第三圖像包括所述第二組織樣本的第三多個光譜圖像，并且所述第三多個光譜圖像中的每一個光譜圖像包括來自不同波長帶的數據；

使用訓練后的人工神經網絡以從所述第三圖像生成所述第二組織樣本的虛擬染色圖像；以及

輸出所述虛擬染色圖像。

2.根據權利要求1所述的計算機實施的方法，還包括，對于所述多個圖像對中的每一個圖像對，將所述第一圖像與所述第二圖像空間配準，使得所述第一圖像中的每一個像素與所述第二圖像中位于相同空間坐標處的相應像素相關。

3.根據權利要求2所述的計算機實施的方法，其中，將所述第一圖像與所述第二圖像空間配準包括通過最大化互信息來使用仿射變換。

4.根據權利要求1-3中任一項所述的計算機實施的方法，其中，訓練所述人工神經網絡包括使用所述第一圖像作為特征和使用所述第二圖像作為標記。

5.根據權利要求1-4中任一項所述的計算機實施的方法，其中，所述人工神經網絡的輸出層包括三個人工神經元，所述三個人工神經元分別預測所述虛擬染色圖像的紅色通道、藍色通道和綠色通道。

6.根據權利要求1-5中任一項所述的計算機實施的方法，其中，所述人工神經網絡是卷積神經網絡，并且訓練所述人工神經網絡包括識別所述第一圖像和所述第二圖像內的點、邊緣、連接元素或屬性之間的相關性中的至少一個。

7.根據權利要求1-6中任一項所述的計算機實施的方法，其中，所述第二組織樣本包括與所述第一組織樣本的組織類型相同的組織類型。

8.一種系統，包括：

一個或多個數據處理器；以及

包含指令的非暫時性計算機可讀存儲介質，所述指令在所述一個或多個數據處理器上運行時，使所述一個或多個數據處理器執行動作，所述動作包括：

訪問包括多個圖像對的圖像訓練數據集，其中：

所述多個圖像對中的每一個圖像對包括當第一組織樣本未染色時獲取的所述第一組織樣本的第一圖像，以及當所述第一組織樣本被染色時獲取的所述第一組織樣本的第二圖像；

所述第一圖像包括所述第一組織樣本的第一多個光譜圖像，并且所述第一多個光譜圖像中的每一個光譜圖像包括來自不同波長帶的數據；以及

所述第二圖像包括多種顏色，對于所述第二圖像內的多個位置中的每一個位置，所述多種顏色指示在所述位置處至少一種染色劑結合到所述第一組織樣本的程度；

訪問人工神經網絡的參數集，其中，所述參數集包括與所述人工神經網絡內的人工神經元相關聯的權重；

通過使用所述圖像訓練數據集和所述參數集來訓練所述人工神經網絡以調整所述權重；

訪問未染色的第二組織樣本的第三圖像，其中，所述第三圖像包括所述第二組織樣本的第三多個光譜圖像，并且所述第三多個光譜圖像中的每一個光譜圖像包括來自不同波長帶的數據；

使用訓練后的人工神經網絡以從所述第三圖像生成所述第二組織樣本的虛擬染色圖像；以及

輸出所述虛擬染色圖像。