[發明專利]一種基于顯微鏡的光學數據處理方法、裝置及存儲介質

有效

• 申請號: 202010019026.6
• 申請日: 2020-01-08
• 公開（公告）號: CN111239999B
• 公開（公告）日: 2022-02-11
• 發明（設計）人: 廖俊;姚建華;葉虎;葉靖雯
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G02B21/24
• 分類號: G02B21/24;G02B21/36;G06N3/08
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 熊永強;杜維

1.一種基于顯微鏡的光學數據處理方法，其特征在于，所述方法由安裝有變焦鏡頭的增強現實顯微鏡執行，包括：

通過圖像采集裝置獲取與檢測對象相關聯的第一圖像，根據用于預測離焦量的第一神經網絡模型確定與所述第一圖像相關聯的目標離焦量；所述第一圖像是由所述檢測對象的光線通過物鏡、視覺顯示裝置中的分束器以及所述變焦鏡頭后所得到的；所述增強現實顯微鏡包括所述圖像采集裝置、所述變焦鏡頭、N目觀察筒、所述視覺顯示裝置和目鏡；所述N用于表征光路數量，且所述N為大于2的正整數；所述圖像采集裝置通過適配器與所述N目觀察筒上的物理接口進行物理連接；所述圖像采集裝置包含具有拍照功能的相機、攝像機以及掃描儀；所述視覺顯示裝置的一端與所述N目觀察筒物理連接，且所述視覺顯示裝置的另一端與所述物鏡物理連接；所述視覺顯示裝置包含圖像投影屏、透鏡、第一偏振片以及所述分束器；所述適配器中內嵌有第二偏振片和所述變焦鏡頭，且所述變焦鏡頭放置在所述圖像采集裝置前的遠心系統的光闌處；所述第二偏振片的偏振方向與所述第一偏振片的偏振方向存在垂直關系；所述第一神經網絡模型是由與所述第一圖像相關聯的所述物鏡的物鏡倍數所確定的；

確定所述目標離焦量對應的調焦信號，根據所述調焦信號控制所述變焦鏡頭調整形變力度，且基于所述形變力度校準所述變焦鏡頭的焦距；所述調焦信號包括電信號、光信號和磁信號；

根據校準焦距后的變焦鏡頭，得到與所述檢測對象相關聯的第二圖像；所述第二圖像為所述圖像采集裝置所采集到的聚焦圖像；

獲取所述第二圖像中的目標對象所屬的目標區域，在所述第二圖像中通過第二神經網絡模型對所述目標區域進行標記處理；

根據標記處理后的第二圖像確定待疊加圖像，通過所述視覺顯示裝置中的分束器將所述待疊加圖像的光線與目標視野圖像的光線進行疊加處理，得到用于呈現在所述目鏡上的增強現實圖像；所述目標視野圖像為將所述檢測對象的光線映射在所述物鏡上的圖像；所述待疊加圖像為在所述圖像投影屏上所顯示的所述標記處理后的第二圖像；所述增強現實圖像是由疊加處理后的光線的一部分光線所確定的，且所述疊加處理后的光線的另一部分光線用于通過所述第二偏振片和所述校準焦距后的變焦鏡頭輸出至所述圖像采集裝置；所述第二偏振片用于根據所述垂直關系濾除所述疊加處理后的光線中的第一子光線；所述第一子光線是由所述分束器所接收到的所述待疊加圖像的光線確定的。

2.根據權利要求1所述的方法，其特征在于，所述通過圖像采集裝置獲取與檢測對象相關聯的第一圖像，根據用于預測離焦量的第一神經網絡模型確定與所述第一圖像相關聯的目標離焦量，包括：

獲取位于增強現實顯微鏡的載物臺上的檢測對象的光線；

將所述檢測對象的光線映射在所述物鏡上的圖像，確定為目標視野圖像；

在所述目標視野圖像映射至所述變焦鏡頭后，將所述圖像采集裝置從所述變焦鏡頭上所捕捉到的圖像，作為與所述檢測對象相關聯的第一圖像；

根據用于預測離焦量的第一神經網絡模型確定與所述第一圖像相關聯的目標離焦量。

3.根據權利要求2所述的方法，其特征在于，還包括：

獲取與樣本對象相關聯的樣本圖像以及所述樣本圖像的實際離焦量；

從所述樣本圖像的實際離焦量中確定最小離焦量和最大離焦量，獲取與所述樣本圖像的實際離焦量相關聯的量化步長；

根據所述最小離焦量、所述最大離焦量以及所述量化步長，設置所述樣本圖像的標簽信息；所述標簽信息包含離焦量為非零的第一標簽信息和離焦量為零的第二標簽信息；

根據具有所述第一標簽信息的樣本圖像和具有所述第二標簽信息的樣本圖像，對初始神經網絡模型進行訓練，得到用于預測離焦量的第一神經網絡模型。

4.根據權利要求3所述的方法，其特征在于，所述第一神經網絡模型為所述增強現實顯微鏡中的模型；

所述根據用于預測離焦量的第一神經網絡模型確定與所述第一圖像相關聯的目標離焦量，包括：

從所述第一圖像中提取目標圖像特征；

將所述目標圖像特征輸入至所述第一神經網絡模型，輸出所述目標圖像特征與所述第一神經網絡模型中的參考圖像特征之間的第一匹配度；所述參考圖像特征為所述樣本圖像的圖像特征；

將所述第一匹配度與所述參考圖像特征對應的標簽信息進行關聯，得到與所述第一圖像相關聯的目標離焦量。