[發明專利]使用一個或更多個神經網絡進行細胞圖像合成

在審

• 申請號: 202010529158.3
• 申請日: 2020-06-11
• 公開（公告）號: CN112102329A
• 公開（公告）日: 2020-12-18
• 發明（設計）人: 徐子樂;王潚崧;辛后昌;楊棟;H·羅斯;徐大光;張玲;F·米萊塔里
• 申請（專利權）人: 輝達公司
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/194;G06T7/00;G06N3/04;G06N3/063;G06N3/08
• 代理公司: 北京市磐華律師事務所 11336
• 代理人: 劉娟

1.一種處理器，其包括：

一個或更多個算術邏輯單元(ALU)，用于至少部分地基于與一個或更多個細胞相關聯的基因信息來幫助生成所述一個或更多個細胞的一個或更多個圖像。

2.根據權利要求1所述的處理器，其中所述一個或更多個ALU進一步配置成：

接受背景圖像數據和基因表達數據作為輸入，所述基因表達數據與所述一個或更多個細胞的視覺特征相關聯。

3.根據權利要求1所述的處理器，其中所述一個或更多個ALU進一步配置成：

使用多條件生成對抗網絡(GAN)推斷所述一個或更多個圖像，所述多條件生成對抗網絡使用醫學圖像數據和基因表達數據進行訓練。

4.根據權利要求3所述的處理器，其中部分地通過對所述醫學圖像數據和所述基因表達數據進行編碼并融合經編碼的數據以生成合成圖像和分割掩膜來訓練所述GAN，所述合成圖像包括與所述醫學圖像數據的背景部分混合的細胞組的表示。

5.根據權利要求4所述的處理器，其中通過將所述合成圖像、所述分割掩膜和用于所述基因表達數據的基因代碼傳遞給鑒別器以確定損失值集合來進一步訓練所述GAN，其中所述GAN的一個或更多個網絡參數使用所述所述損失值集合進行更新。

6.根據權利要求3所述的處理器，其中經訓練的所述GAN利用所述一個或更多個細胞的視覺特征與所述基因表達數據之間的經學習的基因組圖。

7.一種系統，其包括：

一個或更多個存儲器，用于存儲與一個或更多個細胞相關聯的基因信息；以及

一個或更多個處理器，用于至少部分地基于所述基因信息來幫助生成所述一個或更多個細胞的一個或更多個圖像。

8.根據權利要求7所述的系統，其中所述一個或更多個處理器進一步配置成：

接受背景圖像數據和基因表達數據作為輸入，所述基因表達數據與所述一個或更多個細胞的視覺特征相關聯。

9.根據權利要求7所述的系統，其中所述一個或更多個處理器進一步配置成：

使用多條件生成對抗網絡(GAN)推斷所述一個或更多個圖像，所述多條件生成對抗網絡使用醫學圖像數據和基因表達數據進行訓練。

10.根據權利要求9所述的系統，其中部分地通過對所述醫學圖像數據和所述基因表達數據進行編碼并融合經編碼的數據以生成合成圖像和分割掩膜來訓練GAN，所述合成圖像包括與所述醫學圖像數據的背景部分混合的細胞組的表示。

11.根據權利要求10所述的系統，其中通過將所述合成圖像、所述分割掩膜和用于所述基因表達數據的基因代碼傳遞給鑒別器以確定損失值集合來進一步訓練所述GAN，其中使用所述損失值集合更新所述GAN的一個或更多個網絡參數。

12.根據權利要求9所述的系統，其中經訓練的GAN利用所述一個或更多個細胞的視覺特征與所述基因表達數據之間的經學習的基因組圖。

13.一種方法，其包括：

至少部分地基于與一個或更多個細胞相關聯的基因信息，生成所述一個或更多個細胞的一個或更多個圖像；以及

存儲所述一個或更多個圖像。

14.根據權利要求13所述的方法，還包括：

接受背景圖像數據和基因表達數據作為輸入，所述基因表達數據與所述一個或更多個細胞的視覺特征相關聯。

15.根據權利要求13所述的方法，還包括：

使用多條件生成對抗網絡(GAN)推斷所述一個或更多個圖像，所述多條件生成對抗網絡使用醫學圖像數據和基因表達數據進行訓練。