[發(fā)明專利]一種用于顯微操作系統(tǒng)微執(zhí)行器的追焦方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202310176308.0
• 申請日: 2023-02-28
• 公開（公告）號: CN116203712A
• 公開（公告）日: 2023-06-02
• 發(fā)明（設(shè)計）人: 張永興;王慧泉;史振興
• 申請（專利權(quán)）人: 浙江大學(xué)
• 主分類號: G02B21/32
• 分類號: G02B21/32;G01C11/02;G02B21/24;G02B7/09;G02B7/28;G03B30/00
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 萬尾甜;韓介梅

本發(fā)明公開了一種用于顯微操作系統(tǒng)微執(zhí)行器的追焦方法和系統(tǒng)。本發(fā)明由光學(xué)顯微鏡獲取圖像，通過機器視覺定位微執(zhí)行器；帶動微執(zhí)行器運動的機械手裝有納米級光柵傳感器，該傳感器用于檢測微執(zhí)行器在平行于焦平面的平面內(nèi)的位移；結(jié)合圖像反饋與光柵傳感器的反饋信息，計算微執(zhí)行器因離焦導(dǎo)致的平面位移，基于該平面位移信息，改變顯微鏡對焦模塊的運動速度，用以補償運動過程中帶來的離焦。本發(fā)明可應(yīng)用于基于光學(xué)顯微鏡搭建的顯微操作平臺，在細胞微操、顯微注射以及其他相關(guān)生命科學(xué)領(lǐng)域，具備廣泛的應(yīng)用前景。

技術(shù)領(lǐng)域

本發(fā)明涉及自動化顯微操作領(lǐng)域，尤其涉及一種用于顯微操作系統(tǒng)微執(zhí)行器的追焦方法和系統(tǒng)。

背景技術(shù)

近些年顯微操作技術(shù)，如細胞微操作、顯微注射等，在生命科學(xué)領(lǐng)域相關(guān)的研究與實踐中得到廣泛應(yīng)用。然而，從事顯微注射的相關(guān)人員培養(yǎng)訓(xùn)練周期長，以及手工操作存在精度低、可控性低、穩(wěn)定性低以及重復(fù)性差等局限性，限制了相關(guān)研究與實踐的效率。為提升顯微操作的精度、可控性、穩(wěn)定性及重復(fù)性，以及減少對專業(yè)人員的依賴，自動化顯微操作得到廣泛研究。但是當(dāng)微執(zhí)行器沿垂直于焦平面方向移動時，微執(zhí)行器會離開焦平面，其在成像平面中的畫面會發(fā)生模糊，可能會導(dǎo)致機器視覺識別失敗，從而導(dǎo)致自動化微操作過程的失敗。因此，實現(xiàn)運動過程中微執(zhí)行器的追焦十分關(guān)鍵。現(xiàn)有的顯微鏡自動對焦技術(shù)，無法用于追焦，只適用于靜態(tài)物體的對焦，即當(dāng)微執(zhí)行器靜止處于某一平面內(nèi)時，通過圖像反饋調(diào)整顯微鏡焦平面的位置，基于清晰度計算方法，判定微執(zhí)行器處于焦平面內(nèi)。當(dāng)微執(zhí)行器垂直于焦平面方向移動時，微執(zhí)行器先執(zhí)行一小步位移，然后進行對焦，重復(fù)上述過程，直至微執(zhí)行器移動至目標(biāo)位置，過程不具備連續(xù)性，限制了顯微操作效率。

在微操作過程中，受到培養(yǎng)皿內(nèi)各種液體的影響(如礦物油、培養(yǎng)液)，顯微鏡焦平面的光程被壓縮，因此當(dāng)顯微鏡對焦軸移動一段距離后，焦平面移動距離與對焦軸移動距離不同，因此，即使明確微執(zhí)行器的離焦距離，顯微鏡對焦軸反向移動離焦距離后，微執(zhí)行器仍舊處于離焦?fàn)顟B(tài)。

發(fā)明內(nèi)容

本發(fā)明針對現(xiàn)有技術(shù)的不足，提出了一種用于顯微操作系統(tǒng)微執(zhí)行器的追焦方法和系統(tǒng)。本發(fā)明的器件設(shè)置由數(shù)碼相機獲取微執(zhí)行器在光學(xué)顯微鏡下的成像，通過機器視覺獲取微執(zhí)行器的位移信息，基于機器視覺獲取的微執(zhí)行器在二維平面內(nèi)的位移信息D包含兩部分，一部分為微執(zhí)行器離焦引入的位移D₁，另一部分為微執(zhí)行器自身在二維平面內(nèi)移動所引入的位移D₂。通過機械手內(nèi)置的光柵傳感器，可獲取微執(zhí)行器在二維平面內(nèi)的移動參數(shù)D₂。結(jié)合機器視覺與光柵傳感器的反饋信息，可獲得微執(zhí)行器因離焦而引入的位移信息D₁。基于D₁，改變顯微鏡對焦軸的運動速度，使顯微鏡焦平面不斷向微執(zhí)行器所在平面靠攏。

本發(fā)明是通過以下技術(shù)方案實現(xiàn)的：

本發(fā)明提供一種用于顯微操作系統(tǒng)微執(zhí)行器的追焦方法，其本質(zhì)是在微執(zhí)行器運動過程中基于離焦檢測獲取的反饋信息，進行離焦補償，并最終實現(xiàn)追焦；

離焦檢測：由數(shù)碼相機獲取微執(zhí)行器在顯微操作系統(tǒng)下的成像，通過機器視覺獲取微執(zhí)行器的位移信息，微執(zhí)行器在二維平面內(nèi)的位移信息包含兩部分，一部分為微執(zhí)行器離焦引入的位移，另一部分為微執(zhí)行器自身在二維平面內(nèi)移動所引入的位移。通過機械手內(nèi)置的光柵傳感器，可獲取微執(zhí)行器在二維平面內(nèi)的移動參數(shù)。結(jié)合機器視覺與光柵傳感器的反饋信息，可獲得微執(zhí)行器因離焦而引入的位移信息。因為Z軸方向上的離焦距離與因離焦而引入的位移信息成比例關(guān)系，所以基于離焦引入的位移信息，可計算離焦方向與距離。

離焦補償：改變顯微鏡對焦軸的運動速度，縮小微執(zhí)行器與焦平面的距離；重復(fù)執(zhí)行離焦檢測和離焦補償，使得微執(zhí)行器與焦平面的距離趨近于0，并使焦平面的移動速度(即顯微鏡對焦軸的運動速度，二者相等)與微執(zhí)行器在成像光路上的運動速度逐漸趨向一致，從而保證微執(zhí)行器始終處于焦平面內(nèi)，實現(xiàn)追焦過程。

一種用于顯微操作系統(tǒng)微執(zhí)行器的追焦方法，具體步驟如下：