[發明專利]基于深度學習的顯微視覺伺服控制方法

有效

• 申請號: 201910168809.8
• 申請日: 2019-03-06
• 公開（公告）號: CN111239085B
• 公開（公告）日: 2022-11-22
• 發明（設計）人: 鄧承志;吳朝明;田偉;張紹泉;徐晨光;李璠;張俊;汪勝前
• 申請（專利權）人: 南昌工程學院
• 主分類號: G01N21/64
• 分類號: G01N21/64;B25J9/16
• 代理公司: 北京和信華成知識產權代理事務所(普通合伙) 11390
• 代理人: 胡劍輝

本發明公開了基于深度學習的顯微視覺伺服控制方法，屬于顯微伺服控制領域，基于深度學習的顯微視覺伺服控制方法，可以通過在顯微操作之前進行模擬操控，可以同時模擬操作軌跡以及細胞反應，通過模擬操控可以在進行顯微操作之前預設可能會出現的問題，并分析出最優的操作軌跡和數據，在這過程中相較于現有技術，可以存在一個模擬操控修正的過程，從而有效提高了后續顯微操作的成功率，然后將該操作軌跡和數據轉化成伺服控制機器人的實際操作數據，從而完成顯微操作，在這個過程中，避開了人為操作，從而有效降低了由于人為因素造成的不確定的誤差，從而極大地提高了顯微操作的成功率，從而無形中降低了對顯微操作的成本投入。

技術領域

本發明涉及顯微伺服控制領域，更具體地說，涉及基于深度學習的顯微視覺伺服控制方法。

背景技術

在生物醫學工程領域中，存在著大量涉及對細胞、染色體等的顯微操作，如細胞的分離、撿取、融合、顯微注射，染色體的切割等。對于這類微操作，不但要求定位準確、操作精度高、一致性好，而且要做到操作時間短、效率高，目前，微操作都是人工通過顯微操作儀來完成的，顯微操作儀大都包括以下幾部分：隔振臺、顯微鏡、左微操作臂、右微操作臂、細胞吸附及基因注射裝置、左遙控操縱手柄、右遙控操縱手柄等。

操作人員通過顯微鏡的目鏡觀察和感知細胞及微操作臂的位姿信息，通過手柄控制左右微操作臂，將人手的動作按照一定的縮放比例傳遞到微操作臂的操作工具(左操作臂上安裝有微吸管，右操作臂上安裝微注射針)，使之對細胞進行操作。左操作臂完成被操作對象的捕捉與固定，右操作臂對被固定住的操作對象進行微細操作(如基因注射、染色體切割等)。

其操作方式是由操作人員根據顯微監視目鏡輸出的圖像通過遙控操縱手柄來遙控微操作臂的運動，操作人員的大腦、手、遙控手柄、微操作臂、顯微鏡及操作者的眼睛等構成了一個大的“控制閉環”，即由操作人員去感知和處理信息，通過顯微鏡、遙控手柄及微操作臂來傳遞與放大位移與力。這種顯微操作儀只有一個位比(位移縮放比例)的傳遞，沒有任何控制器、沒有任何傳感器(顯微鏡除外)，沒有任何“智能”。

但是現有的顯微操作是由操作人員直接去感知和處理信息，通過顯微鏡、遙控手柄及微操作臂來傳遞與放大位移與力，但是這種方式很容易受到個人技術、精神狀態及心理、情緒的影響等人為因素的影響，從而造成大的而且不穩定的人為誤差，導致顯微操作的成功率不穩定而且很低，進而無形中增加了顯微操作的成本投入。

發明內容

1.要解決的技術問題

針對現有技術中存在的問題，本發明的目的在于提供基于深度學習的顯微視覺伺服控制方法，它可以通過在顯微操作之前進行模擬操控，可以同時模擬操作軌跡以及細胞反應，通過模擬操控可以在進行顯微操作之前預設可能會出現的問題，并分析出最優的操作軌跡和數據，在這過程中相較于現有技術直接進行顯微操作，可以存在一個模擬操控修正的過程，從而有效提高了后續顯微操作的成功率，然后將該操作軌跡和數據轉化成伺服控制機器人的實際操作數據，從而完成顯微操作，在這個過程中，避開了人為操作，從而有效降低了由于人為因素造成的不確定的誤差，從而極大地提高了顯微操作的成功率，從而無形中降低了對顯微操作的成本投入。

2.技術方案

為解決上述問題，本發明采用如下的技術方案。

基于深度學習的顯微視覺伺服控制方法，包括以下步驟：

S1、通過攝像顯微鏡放大載玻片上目標細胞，并采集目標細胞的實時視頻信息；

S2、將采集的動態信息實時導入到計算機內；

S3、在計算機內對目標細胞進行模擬操控，并記錄模擬操控軌跡的動態數據；

S4、數據轉換，將模擬得到的動態數據進行等比例換算成伺服控制機器人和細胞實際尺寸的數據；