[發明專利]使用卷積神經網絡進行即時單粒子重建

有效

• 申請號: 202010121990.X
• 申請日: 2020-02-26
• 公開（公告）號: CN111627079B
• 公開（公告）日: 2023-04-14
• 發明（設計）人: J.弗拉納根;E.弗蘭肯;M.皮門
• 申請（專利權）人: FEI公司
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06F18/241;G06N3/0464;G06N3/08
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 張凌苗;陳嵐

1.一種用于生物粒子的方法，其包括：

使用至少已部分訓練的人工神經網絡從多幅粒子圖像中提取粒子圖像子集；

對所述粒子圖像子集的粒子圖像進行分類，以定義至少一組相似的粒子圖像；

至少基于所述經分類的粒子圖像和所述至少一組相似的粒子圖像，形成粒子的三維（3D）重建；

基于所述經分類的粒子圖像或所述粒子的所述3D重建的二維（2D）投影，更新粒子圖像的訓練集，其中所述訓練集與所述至少已部分訓練的人工神經網絡相關聯并且響應于對至少一幅粒子圖像進行分類和定義至少一組相似的粒子圖像中的一個或多個，自動更新，其中對所述粒子圖像訓練集的更新包括：

基于所述粒子的所述3D重建，生成示例粒子的一幅或多幅合成粒子圖像；

將所述一幅或多幅合成粒子圖像提供給所述粒子圖像訓練集；

注解每幅所述合成粒子圖像；以及

將學習權重應用于每幅所述合成粒子圖像。

2.根據權利要求1所述的方法，其中注解所述子集的所述粒子圖像中每幅粒子圖像的質量，其中基于所述經注解的粒子圖像，更新所述粒子圖像訓練集。

3.根據權利要求2所述的方法，其中所述注解包括接受或拒絕表征。

4.一種用于生物粒子的方法，其包括：

使用至少已部分訓練的人工神經網絡從多幅粒子圖像中提取粒子圖像子集；

對所述粒子圖像子集的粒子圖像進行分類，以定義至少一組相似的粒子圖像；

至少基于所述經分類的粒子圖像和所述至少一組相似的粒子圖像，形成粒子的三維（3D）重建；以及

基于所述經分類的粒子圖像或所述粒子的所述3D重建的二維（2D）投影，更新粒子圖像的訓練集，其中所述訓練集與所述至少已部分訓練的人工神經網絡相關聯并且響應于對至少一幅粒子圖像進行分類和定義至少一組相似的粒子圖像中的一個或多個，自動更新，其中所述粒子圖像訓練集的更新包括：

對每幅經分類的粒子圖像的質量評分；

對每幅經分類的粒子圖像加權，其中權重是學習權重；以及

將已評分和加權的經分類的粒子圖像提供給所述粒子圖像訓練集。

5.根據權利要求4所述的方法，其進一步包括用接受或拒絕表征注解所述每幅經分類的粒子圖像。

6.根據權利要求4所述的方法，其進一步包括：

基于所述粒子的3D重建的二維（2D）投影，將相應的3D質量匹配分數應用于每幅已提取的粒子圖像，其中所述3D重建的每個2D投影與所述3D重建的不同取向相關聯；以及

將每幅已提取的粒子圖像及其相應的3D質量匹配分數提供給所述粒子圖像訓練集。

7.根據權利要求4所述的方法，其進一步包括：

基于自相似粒子的二維（2D）組平均數，將相應的2D質量匹配分數應用于每幅已提取的粒子圖像；以及

將每幅已提取的粒子圖像及其相應的2D質量匹配分數提供給所述粒子圖像訓練集。

8.一種用于生物粒子的方法，其包括：

使用至少已部分訓練的人工神經網絡從多幅粒子圖像中提取粒子圖像子集；

對所述粒子圖像子集的粒子圖像進行分類，以定義至少一組相似的粒子圖像；

至少基于所述經分類的粒子圖像和所述至少一組相似的粒子圖像，形成粒子的三維（3D）重建；以及

基于所述經分類的粒子圖像或所述粒子的所述3D重建的二維（2D）投影，更新粒子圖像的訓練集，其中所述訓練集與所述至少已部分訓練的人工神經網絡相關聯并且響應于對至少一幅粒子圖像進行分類和定義至少一組相似的粒子圖像中的一個或多個，自動更新，其中更新所述粒子圖像訓練集包括：

基于所述粒子的3D重建的二維（2D）投影，將相應的3D質量匹配分數應用于每幅已提取的粒子圖像，其中所述3D重建的所述2D投影與所述3D重建的至少兩個不同取向相關聯；以及

將每幅已提取的粒子圖像及其相應的3D質量匹配分數提供給所述粒子圖像訓練集。