[發(fā)明專利]神經(jīng)形態(tài)計算驅(qū)動圖像流式細(xì)胞儀對細(xì)胞圖像流處理方法

有效

• 申請?zhí)枺?/td>: 202111026022.1
• 申請日: 2021-09-02
• 公開（公告）號: CN113607628B
• 公開（公告）日: 2023-02-10
• 發(fā)明（設(shè)計）人: 王文會;何煒華;豐泳翔;鄧?yán)?/a>;趙蓉
• 申請（專利權(quán)）人: 清華大學(xué)
• 主分類號: G01N15/14
• 分類號: G01N15/14;G06N3/049;G06N3/08
• 代理公司: 北京眾合誠成知識產(chǎn)權(quán)代理有限公司 11246
• 代理人: 張文寶

1.一種神經(jīng)形態(tài)計算驅(qū)動的圖像流式細(xì)胞儀對細(xì)胞圖像流處理方法，神經(jīng)形態(tài)計算驅(qū)動的圖像流式細(xì)胞儀的微流泵將含有多種細(xì)胞微粒的溶液通入微流控長直流道中，按照穩(wěn)定的流速通行，事件相機通過顯微鏡成像機構(gòu)捕獲到溶液中微粒流過的視覺事件流，該視覺事件流即為事件相機的稀疏時空編碼事件流；并傳給神經(jīng)形態(tài)芯片，其特征在于，通過神經(jīng)形態(tài)芯片上部署的檢測、追蹤和分類計數(shù)算法判斷當(dāng)前粒子是否為某一種類，并依次控制分選機構(gòu)進行分選；如果是所需要的種類，則控制分選機構(gòu)產(chǎn)生分選動作，使細(xì)胞微粒進入預(yù)設(shè)流道中；

由于傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)ANN算法采用的可導(dǎo)連續(xù)發(fā)放機制，會將稀疏的事件流提取為非稀疏的特征，從而降低在神經(jīng)形態(tài)芯片上的加速與功耗性能；為充分利用事件的稀疏特性，利用脈沖神經(jīng)網(wǎng)絡(luò)SNN對事件相機的稀疏時空編碼事件流進行處理，由于SNN的動態(tài)事件驅(qū)動特性，神經(jīng)元之間以0/1的二值脈沖形式進行交流，再加上匹配事件相機數(shù)據(jù)的處理，提升神經(jīng)形態(tài)芯片部署后的加速與功耗效能；采用兼容ANN與SNN的異構(gòu)融合類腦人工智能算法，在獲取更高算法性能的同時，實現(xiàn)稀疏編碼的細(xì)胞多模態(tài)數(shù)據(jù)在神經(jīng)形態(tài)芯片上的實時加速計算；

所述事件相機的稀疏時空編碼事件流，在相機視野內(nèi)，采用并行高速微流道，實現(xiàn)對進樣細(xì)胞的高通量輸送，通過長直流道，對細(xì)胞樣本進行必要的操控，包括聚束排隊、拉伸變形和動態(tài)加速，以利于細(xì)胞的多模態(tài)提取；其次，在微流控芯片的高速微流道下游，集成聲學(xué)或者電學(xué)驅(qū)動模塊，按照神經(jīng)形態(tài)芯片系統(tǒng)對細(xì)胞的實時分類，對流道中的當(dāng)前細(xì)胞實施在線分選；該神經(jīng)形態(tài)芯片系統(tǒng)利用神經(jīng)形態(tài)芯片的低延遲和低功耗的特點，對事件相機拍攝到的細(xì)胞事件流進行實時檢測，并通過檢測結(jié)果對細(xì)胞分選模塊進行反饋控制，進而對細(xì)胞進行在線分選；

所述神經(jīng)形態(tài)芯片由解碼模塊、軸突模塊、多精度突觸陣列、樹突模塊、胞體和輸出編碼模塊依次連接組成，數(shù)據(jù)從解碼模塊輸入，結(jié)果由輸出編碼模塊輸出；其中，軸突模塊、樹突模塊和胞體均包含ANN模式和SNN模式；該系統(tǒng)基于神經(jīng)形態(tài)芯片與傳統(tǒng) “馮?諾依曼”計算架構(gòu)的存儲和分離不同，神經(jīng)形態(tài)芯片采用存和算一體的全新架構(gòu)，通過分布式的存儲模式，實現(xiàn)了類數(shù)據(jù)流運行模式，能夠進行快速且低功耗的信息處理；并不需要全局控制器進行數(shù)據(jù)調(diào)度，能夠?qū)崿F(xiàn)對檢測目標(biāo)細(xì)胞的快速響應(yīng)與實時輸出，進一步提高系統(tǒng)的響應(yīng)速度；同時，神經(jīng)基元的參數(shù)空間和計算精度能夠根據(jù)不同的應(yīng)用需求進行重新配置，從而支持異構(gòu)的基本網(wǎng)絡(luò)算子以及多種固化的運算操作，進而更好的支持微流控系統(tǒng)所需的樣本識別跟蹤、多模態(tài)特征提取和分類的多種算法。