[發明專利]一種基于卷積神經網絡的三維顆粒類別檢測方法及系統

有效

• 申請號: 202010563714.9
• 申請日: 2020-06-19
• 公開（公告）號: CN112001218B
• 公開（公告）日: 2023-05-30
• 發明（設計）人: 張法;郝語;萬曉華;劉志勇;李錦濤
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06V20/64
• 分類號: G06V20/64;G06V10/44;G06V10/764;G06V10/774;G06V10/82;G06N3/0464;G06N3/047;G06N3/048;G06N3/084
• 代理公司: 北京律誠同業知識產權代理有限公司 11006
• 代理人: 祁建國

本發明提出一種基于卷積神經網絡的三維顆粒類別檢測方法和系統，包括：構建包括混合尺度的三維擴張卷積層、稠密連接和損失函數的三維混合尺度密集卷積神經網絡，用已標注顆粒坐標的三維冷凍電子斷層圖像訓練該卷積神經網絡，得到顆粒挑選模型，用已標注顆粒類別的三維冷凍電子斷層圖像訓練該卷積神經網絡，得到顆粒分類模型；通過滑動窗口采集三維冷凍電子斷層圖像，得到待檢測三維重構的子區域，通過該顆粒挑選模型對每個該子區域進行預測，合并子區域的預測結果得到該三維冷凍電子斷層圖像中各顆粒的坐標；根據各顆粒的坐標，提取顆粒的三維圖像，將每個顆粒的三維圖像輸入至該顆粒分類模型，得到各顆粒的所屬類別。

技術領域

本發明屬于結構生物學冷凍電子斷層成像技術領域，并特別涉及一種基于卷積神經網絡的三維顆粒類別檢測方法及系統。

背景技術

冷凍電子斷層技術配合子區域平均技術可以獲得更高分辨率的生物大分子的原位結構，其中的一個關鍵步驟是從電子斷層重構中挑選大量的三維顆粒，目前挑選三維顆粒的方法分為手工挑選和自動挑選兩大類。

一些軟件包提供了從電子斷層三維重構的視圖中手工挑選的功能。通常做法是,在垂直于z軸的投影平面上選取顆粒中心點，在該點所在YZ截面和XZ?截面中進一步標記顆粒的三維坐標，可以通過對電子斷層重構進行濾波、去噪和增強對比度等操作以提高顆粒挑選的準確率。一套電子斷層重構圖像中存在著成千上萬的顆粒，因此手工挑選是費時費力的，并且會受到研究人員主觀判斷的影響。

自動顆粒挑選分為基于模板匹配的方法和不依賴模板的方法，前者更為常見。模版匹配通過計算模版和待匹配局部圖像的互相關值，來確定匹配的程度，超過閾值的對象被視為顆粒。模版可以是結構簡單的三維體，可以是經過低通濾波的已知結構，也可以是人工挑選以生成的初始模型。為了對模版匹配的結果進一步優化，基于支持向量機的方法被提出。該方法首先利用模版匹配產生候選對象，計算它們的相應特征，再使用SVM對候選對象進行二分類，該方法的特征構造會對結果產生很大影響。不依賴模板的方法有基于高斯差分圖像變換的方法，該方法對兩個高斯濾波后的圖像做減法得到新的密度圖，峰值表示潛在的顆粒，該方法的效果很依賴高斯差分變換的縮放因子的大小。

近幾年，基于深度學習的三維挑顆粒方法得到發展，包括基于2.5維神經網絡模型的方法和基于三維神經網絡模型的方法。基于2.5維神經網絡模型的方法將電子斷層重構視為垂直z軸的一系列切片，所有的卷積操作都是在二維進行的。對某張切片的預測過程是，向網絡輸入當前切片及其相鄰的幾張切片，輸出當前切片的分割結果。該方法沒有充分利用z方向上的特征，只考慮了相鄰幾張切片的關聯。基于三維神經網絡模型的方法直接對電子斷層重構的子區域進行預測，所有操作在三維上進行。該方法的模型參數龐大，往往需要大量的數據和時間進行模型訓練。此外，基于深度學習的顆粒分類方法也被提出。通常使用深度學習的三維分類模型對顆粒進行預測，由于網絡的輸入尺寸是固定的，因此任何大小的待顆粒都需要被縮放到統一尺寸才能輸入網絡。

由于冷凍電子斷層重構中存在著成千上萬的三維顆粒，要處理如此大數量級的顆粒圖像，研究人員也需要花費大量時間去進行人工標注，而標注工作是主觀的，每個研究人員的標注結果往往會有差別。

模板匹配的方法不能挑選結構未知的生物大分子，也不利于結構變異性高的蛋白質(例如蛋白酶體)的識別，同時高對比度特征的干擾會出現假陽性匹配，此外還需要人為交互來設置相關閾值。

基于支持向量機的方法對模版匹配的候選對象進行二分類，忽略了那些沒有被模版匹配檢測到的顆粒，而且很難構造出具有普適性的特征以很好地應對不同成像條件下的不同種類的生物大分子，此外對每一種類別的生物大分子都需要從頭訓練一個分類器。

基于高斯差分圖像變換的方法很依賴高斯差分變換的縮放因子的大小，需要不斷嘗試不同的參數組合以保證能最大程度地識別各種大小和形狀的顆粒，因此處理新的數據時需要對參數進行調整。以上所有這些方法都沒有利用高通量冷凍電子斷層數據收集的優勢。