[發明專利]神經形態計算驅動圖像流式細胞儀對細胞圖像流處理方法

有效

• 申請號: 202111026022.1
• 申請日: 2021-09-02
• 公開（公告）號: CN113607628B
• 公開（公告）日: 2023-02-10
• 發明（設計）人: 王文會;何煒華;豐泳翔;鄧磊;趙蓉
• 申請（專利權）人: 清華大學
• 主分類號: G01N15/14
• 分類號: G01N15/14;G06N3/049;G06N3/08
• 代理公司: 北京眾合誠成知識產權代理有限公司 11246
• 代理人: 張文寶

本發明公開了屬于醫療設備技術領域的一種神經形態計算驅動圖像流式細胞儀對細胞圖像流處理方法；所述圖像流式細胞儀包括微流控系統、光學系統、算法系統與硬件系統共四個子系統，四個子系統依次通過數據傳輸，多系統級聯調適配組成神經形圖像流式細胞儀；其中微流控系統由微流控芯片、微流泵、長直流道與可控分選機構組成，事件相機處于長直流道上方，對細胞事件流進行實時拍攝、檢測；通過神經形態芯片上部署的檢測、追蹤、分類計數算法驅動大量細胞高速通過視野，控制分選機構執行細胞分選。本發明實現全視場內多細胞成像和處理，減少相機數量，極大降低了系統復雜度與成本，方便推廣使用。

技術領域

本發明屬于醫療設備技術領域，特別涉及一種神經形態計算驅動圖像流式細胞儀對細胞圖像流處理方法

技術領域

針對當前最先進的圖像流式細胞儀系統復雜度太高、無法推廣使用的缺點，使用事件相機和神經形態芯片，改變當前細胞高速成像和數據處理沿用馮諾依曼計算框架的路線，提出下一代圖像流式細胞儀架構。新的圖像流式細胞儀在原理上可取得相當性能的同時，在系統復雜度上大幅降低，展示人工智能技術在生命科學儀器行業的全新應用。本發明要解決的主要問題包括：(1)高速運動、微弱信號物體的顯微成像傳感問題。針對在顯微鏡下高速運動的細胞，摒棄傳統的高速相機，使用仿神經形態的事件相機和基于稀疏數據的人工智能圖像處理算法，實現全視場內多細胞成像和處理。(2)神經形態芯片高效計算事件流的問題。摒棄現有圖像流式細胞儀采用大量CPU/GPU等傳統的非神經形態計算架構，將基于稀疏數據的人工智能圖像處理算法部署到神經形態芯片系統上加速，以極低復雜度的計算系統完成細胞的分類計算。(3)光機電液算控復雜系統的集成問題。基于事件相機和神經形態芯片架構，完成光路系統、微流控系統、系統的集成和控制、細胞樣本的人工標記等，最終搭建新一代的圖像流式細胞儀裝置。

流式細胞儀是重要的生命科學儀器。現在最先進的圖像流式細胞儀可以做到多熒光成像、高通量、實時分類及分選，但是系統復雜度太高，無法推廣使用；其根源在于細胞高速成像和數據處理仍然基于傳統的非神經形態硬件系統，其系統復雜度高，集成度低，有較高的計算延遲與較低的能效比，且系統昂貴。在類腦傳感器和計算芯片取得突破進展的背景下，如能基于事件成像和神經形態芯片作為核心處理單元的下一代圖像流式細胞儀架構,則能在取得相當性能的同時，在系統復雜度上大幅降低，展現類腦智能在生命科學儀器領域的廣泛應用。

現有的圖像流式細胞儀以東京大學Keisuke Goda課題組的解決方案最為典型。該方案將含有細胞的液體高速通過長達一米的細長直流道，并同時以六臺高速相機拍攝記錄視野內局部區域細胞圖像的不同色彩通道。六臺高速相機拍攝的圖像信息經過大量計算資源加速后的分類神經網絡實時計算得到分類結果，并將分類的結果用于實時的分選控制。該方案耗資巨大，設備昂貴而復雜，難以推廣使用。

目前圖像流式細胞儀已經應用于表征細胞DNA損傷修復、評估細胞死亡和自噬、細胞間相互作用和細胞周期分析等方面，但基于傳統圖像傳感器的原理性缺陷，在圖像流式細胞儀應用場景中時間分辨率不足、曝光時間短和大數據的條件下，實時高速處理的任務需求會導致系統面臨連續采集動態信息全幅采樣的方式產生大量冗余數據造成的巨大的數據傳輸、存儲、運算壓力、信噪比、視野、模糊、成本及穩定性問題和在傳統的馮諾依曼架構下，高速實時處理條件下的巨大算力需求往往導致昂貴、龐大而復雜的系統，滿足不了實際應用與現場診斷的需求；目前需要建立基于神經形態成像器件與神經形態芯片層級和軟件工具鏈層的多層次、多尺度交叉融合的感、存、算融合一體化片上；拓展圖像流式細胞儀的潛在臨床應用，如在液體活檢、白血病檢測和識別傳染性疾病方面的應用同樣也是一個很重要的問題。本發明擬通過基于事件相機這一新型神經形態傳感器的原理，使用神經形態芯片對圖像處理進行端到端的處理。