[發明專利]一種集成在圖像傳感器中提高細胞分辨率的系統與方法

有效

• 申請號: 202010228210.1
• 申請日: 2020-03-27
• 公開（公告）號: CN111405183B
• 公開（公告）日: 2021-11-16
• 發明（設計）人: 呂楠;余寧梅;張鶴玖;王凱;盧思汀
• 申請（專利權）人: 西安理工大學
• 主分類號: H04N5/232
• 分類號: H04N5/232;H04N5/235
• 代理公司: 北京國昊天誠知識產權代理有限公司 11315
• 代理人: 楊洲

1.一種集成在圖像傳感器中提高細胞分辨率的系統，包括傳統列并行TDI CMOS圖像傳感器，所述傳統列并行TDI CMOS圖像傳感器包括時序控制電路、列電路和像素陣列，傳統列并行TDICMOS圖像傳感器完成光信號采集并將其轉化為具有退化后高分辨率的數字圖像信號，其特征在于，還包括流速檢測電路、流水處理乘加電路、寄存器組一、寄存器組二和寄存器組三，退化后的高分辨率的數字圖像信號存儲在寄存器組一中，以滿足系統對于實時采集的要求，流速檢測電路對寄存器組一中的數字圖像信號進行速率預檢測并通過反饋信號調整時序控制電路，以達到控制采樣頻率與流速匹配的目的，完成流速匹配后將存儲在寄存器組一中的退化后的高分辨率的數字圖像信號存儲在寄存器二中，寄存器組三中預存了圖像還原矩陣，存儲在寄存器組二中的退化后的高分辨率的數字圖像信號與存儲在寄存器組三中的還原矩陣在流水處理乘加電路中完成矩陣乘處理并得到還原后的超分辨率圖像。

2.一種集成在圖像傳感器中提高細胞分辨率的方法，其特征在于，包括以下步驟：

步驟1：通過流速檢測電路進行速度檢測，首先，在微流體軌道增加黑白塊用來檢測細胞液體流動速度，通過傳統列并行TDI CMOS圖像傳感器可以獲得黑白塊圖像序列，通過流速檢測電路判斷圖像數字結果，編碼后反饋給時序控制電路以實現對傳統列并行TDI CMOS圖像傳感器采樣頻率的調整，經過采樣頻率調整后，傳統列并行TDI CMOS圖像傳感器采樣速度與細胞流動速度達到匹配；

所述步驟1的具體做法為：

在微流體軌道增加黑白相間單元用來檢測細胞液體流動速度，每個單元塊大小與實際像素尺寸大小成1:1比例，黑色單元實際不透光，通過傳統列并行TDI CMOS圖像傳感器可以獲得黑白相間單元的數字圖像結果；

當采樣速度與測試目標運動速度完全相同時，列轉換數字結果y(t)應為：

y(t)＝[0；255；0；255；…0；255]

當采樣速度與測試目標運動速度比2：1時，列轉換數字結果y(t)均128；

當采樣速度與測試目標運動速度比達到4：1時，列轉換數字結果y(t)為：

y(t)＝[159；96；64；64；96；159；191；191]

因此，流速檢測電路中的算法主要是根據列轉換數字結果反饋調節時序控制電路的曝光速度和采樣速度，使得速度達到匹配；

步驟2：按照步驟1得到的采樣頻率在傳統列并行TDI CMOS圖像傳感器電路中就可以采集到在細胞運動方向上具有小于像素尺寸的細胞真實圖像信息，將得到的退化后包含亞像素信息的模糊細胞圖像存儲在寄存器組一中；

所述步驟2的具體做法為：

整個步驟2的采集過程類似于矩陣卷積過程，用離散數學模型可以表示為：

其中，x(t)表示被拍攝的真實細胞圖像，h_k(t)表示過采樣采集過程中的退化矩陣，y_k(t)表示累加后直接輸出的圖像，也就是退化后包含亞像素信息的模糊細胞圖像；當傳統列并行TDI CMOS圖像傳感器采樣速度與細胞流動速度嚴格匹配時，圖像退化矩陣h_k(t)是已知量；

步驟3：當寄存器組一存儲的細胞圖像滿足固定陣列大小時，將寄存器組一中數據轉移到寄存器組二中，以滿足寄存器組一能夠流水處理并存儲采集得到退化后包含亞像素信息的模糊細胞圖像；

步驟4：通過預存在寄存器組三中的還原矩陣和寄存器組二中的包含亞像素信息的模糊細胞圖像在流水處理乘加電路中完成矩陣乘還原得到清晰的超分辨率圖像；

所述步驟4的具體做法為：通過已知的退化矩陣h_k(t)和退化后包含亞像素信息的模糊細胞圖像y_k(t)求x(t)的過程，稱之為去卷積過程，為了在芯片內實現去卷積，采用矩陣求逆的方法來實現；在寄存器組三中已經存儲了由退化矩陣h_k(t)構造的H_k⁺(t)矩陣，稱為還原矩陣，此時恢復后的清晰圖像x(t)'可以表示為：x(t)'＝H_k⁺(t)y_k(t)；

步驟5：由于傳統列并行TDICMOS圖像傳感器累加開始和結束的過程中存在與累加級數相關的無效信息，因此在圖像輸出之前需要去掉無效的“黑邊”圖像再輸出，即實際輸出圖像的行數小于還原后的清晰圖像；

步驟6：在進行步驟3，4，5時，傳統列并行TDICMOS圖像傳感器繼續按照步驟2所述采集細胞圖像，當采集的包含亞像素信息的模糊細胞圖像數據再次滿足寄存器組一固定陣列大小時，重復步驟3，4，5，直至停止圖像采集；

步驟7：將分段還原得到的各個分辨率的細胞圖像拼接，可直接輸出一幅完成的細胞圖像。