[發明專利]計算基于掃描電鏡的雙探測器三維成像深度的方法及系統

在審

• 申請號: 202210277934.4
• 申請日: 2022-03-21
• 公開（公告）號: CN114693871A
• 公開（公告）日: 2022-07-01
• 發明（設計）人: 楊湛;房梁;卞衛國;瞿志;張略;陳濤;孫立寧
• 申請（專利權）人: 蘇州大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/55;G06T5/00;G06T7/33;G06T7/00;G06T7/80;G06T3/40;G06N3/04;G06N3/08
• 代理公司: 蘇州市中南偉業知識產權代理事務所(普通合伙) 32257
• 代理人: 李柏柏

本發明涉及一種計算基于掃描電鏡的雙探測器三維成像深度的方法，包括標定具有第一探測器和第二探測器的掃描電鏡的參數；使用掃描電鏡拍攝樣品圖像，對得到的第一原始圖像和第二原始圖像進行去噪，對第一原始圖像和第二原始圖像進行訓練學習，輸出第一圖像和第二圖像；分別提取第一圖像和第二圖像的特征點并對其進行匹配；將第一圖像和第二圖像上的對應點約束到同一水平線上，得到第一校準圖像和第二校準圖像；計算第一校準圖像和第二校準圖像的視差；根據視差結果和兩個探測器的夾角建立視差?深度的映射關系并計算得到深度信息。本發明結合SEM內部的雙探測器拍攝圖像，計算出圖像的深度，降低操作的難度，節省時間，且能夠提高裝配精度和效率。

技術領域

本發明涉及微納尺度三維重建技術領域，尤其是指一種計算基于掃描電鏡的雙探測器三維成像深度的方法及系統。

背景技術

三維重建技術主要是通過視覺方式獲得重建目標場景的真實信息，即利用二維圖像恢復三維信息的一種技術。目前宏觀尺度三維重建的成像系統受限于光學分辨率和顯微成像景深小等限制，常規尺度的光學三維重構技術無法應用于微納尺度場景重建，同時還受限于掃描電鏡SEM復雜的成像系統。

針對三維納米器件操作與組裝復雜的問題，目前主要的研究方向是通過在掃描電鏡(Scanning Electron Microscope,SEM)內搭建一套納米機器人操作系統，利用SEM下的單操作手或雙操作手來完成。由于掃描電鏡拍攝出來的圖像是二維平面的，在進行三維納米器件的操作和組裝時，丟失了三維空間中的深度信息，這樣給操作人員帶來了諸多的不便；同時，在操作的過程中，也增加了損壞器件的風險。因此計算三維空間中的深度信息具有重要的意義。

發明內容

為此，本發明所要解決的技術問題在于克服現有技術存在的問題，提出一種計算基于掃描電鏡的雙探測器三維成像深度的方法及系統，其結合SEM內部的雙探測器拍攝圖像，基于圖像計算出圖像的深度，不僅可以大大降低操作的難度，節省大量的時間，而且能夠顯著提高裝配精度和效率。

為解決上述技術問題，本發明提供一種計算基于掃描電鏡的雙探測器三維成像深度的方法，包括以下步驟：

S10：標定掃描電鏡SEM的參數，其中所述掃描電鏡SEM具有第一探測器和第二探測器；

S20：使用標定后的掃描電鏡SEM拍攝樣品圖像，得到由第一探測器拍攝的第一原始圖像和由第二探測器拍攝的第二原始圖像，采用高斯濾波器對第一原始圖像和第二原始圖像進行去噪處理，并采用卷積神經網絡對去噪處理后的第一原始圖像和第二原始圖像進行訓練學習，增強圖像質量和分辨率，輸出增強后的第一圖像和第二圖像；

S30：分別提取第一圖像和第二圖像的特征點，得到第一特征點和第二特征點，并對所述第一特征點和第二特征點進行匹配；

S40：采用投影變換將第一圖像和第二圖像上的對應點約束到同一水平線上，得到極線水平校準后的第一校準圖像和第二校準圖像；

S50：計算所述第一校準圖像和第二校準圖像的視差，得到視差結果；

S60：根據視差結果和兩個探測器的夾角建立視差-深度的映射關系，根據視差-深度的映射關系計算得到深度信息。

在本發明的一個實施例中，在S10中，標定掃描電鏡參數的方法包括：

對掃描電鏡進行標定時選用模型為其中X_p(u,v)表示成像平面上的投影點坐標，P_x、P_y分別表示模型的內在參數；

對所述模型進行修正，得到修正后的模型為其中δ_u和δ_v分別表示徑向畸變和切向畸變，其表達式為其中，k₁,k₂,…k_n分別表示不同的失真系數，r,的表達式為