[發明專利]使用卷積神經網絡進行即時單粒子重建

有效

• 申請號: 202010121990.X
• 申請日: 2020-02-26
• 公開（公告）號: CN111627079B
• 公開（公告）日: 2023-04-14
• 發明（設計）人: J.弗拉納根;E.弗蘭肯;M.皮門
• 申請（專利權）人: FEI公司
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06F18/241;G06N3/0464;G06N3/08
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 張凌苗;陳嵐

使用卷積神經網絡進行即時單粒子重建。使用與選定的粒子類型相關聯的圖像測試集(電子顯微照片)評估一組卷積神經網絡(CNN)中的CNN。基于所述評估選擇優選的CNN，并且所述優選的CNN用于處理測試樣本的電子顯微照片。可以通過人工選擇獲得所述圖像測試集或使用所述選定的粒子類型的模型生成所述圖像測試集。在處理另外的電子顯微照片中使用所述優選的CNN選擇圖像時，可以將所述選定的圖像添加到訓練集中或用作另外的訓練集，以重新訓練所述優選的CNN。在一些實例中，僅重新訓練所述優選的CNN的選定層。在其它實例中，基于類似結構的粒子的二維投影用于CNN訓練或重新訓練。

技術領域

本公開涉及如在生物粒子的低溫電子斷層掃描中的粒子選擇。

背景技術

電子顯微鏡已經被用來研究生物粒子的結構。通常，將粒子標本保持在低溫下，并用低電子束劑量獲得圖像(盡管可以使用離子或其它帶電粒子束(CPB)獲得圖像)，以避免改變標本。因此，含有此類粒子的圖像具有低對比度和低信噪比，并且難以可靠地選擇用于結構測定的圖像中的預期粒子的實例。在許多情況下，用戶通過繁瑣、耗時的手動過程選擇和研究大量粒子。在其它情況下，已經使用卷積神經網絡(CNN)來識別期望的粒子。不幸的是，訓練CNN通常需要識別和/或分類數百或數千個粒子，以產生用于建立特定CNN的合適的訓練集。即使特定粒子的合適的訓練集可用，仍難以開發用于識別和分類不同粒子的CNN。

發明內容

方法包括使用至少已部分訓練的人工神經網絡從多幅粒子圖像中提取粒子圖像子集。對所述粒子圖像子集的粒子圖像進行分類，以定義至少一組相似的粒子圖像。至少基于所述經分類的粒子圖像和所述至少一組相似的粒子圖像，獲得粒子的三維(3D)重建。基于所述經分類的粒子圖像或所述粒子的3D重建的投影，更新與所述至少已部分訓練的人工神經網絡相關聯的粒子圖像訓練集。通常，響應于粒子圖像的分類或分組，立即更新所述訓練集。在一些實例中，更新所述粒子圖像訓練集包含括注解所述子集的所述粒子圖像中每幅粒子圖像的質量，以及基于所述經注解的粒子圖像，更新所述粒子圖像訓練集。在特定實例中，所述注解包括接受或拒絕表征。在另外的實例中，所述粒子圖像訓練集的更新包括對每幅經分類的粒子圖像的質量進行評分、用學習權重對每幅經分類的粒子圖像加權以及將已評分和加權的經分類的粒子圖像提供給所述粒子圖像訓練集。在其它替代方案中，用接受或拒絕表征注解所述經分類的粒子圖像中的一些或全部粒子圖像。

根據其它實施例，基于所述粒子的3D重建的二維(2D)投影，將相應的3D質量匹配分數應用于每幅已提取的粒子圖像，其中所述3D重建的每個2D投影與所述3D重建的不同朝向相關聯。然后，將所述已提取的粒子圖像及其相應的3D質量匹配分數提供給所述粒子圖像訓練集。在另外的實例中，基于自相似粒子的2D組平均數將相應的2D質量匹配分數應用于每幅已提取的粒子圖像，并且將所述已提取的粒子圖像及其相應的2D質量匹配分數提供給所述粒子圖像訓練集。在一些情況下，通過基于所述粒子的3D重建的2D投影將相應的3D質量匹配分數應用于每幅已提取的粒子圖像，更新所述粒子圖像訓練集，其中所述3D重建的所述2D投影與所述3D重建的至少兩個不同取向相關聯。將所述已提取的粒子圖像及其相應的3D質量匹配分數提供給所述粒子圖像訓練集。