[發明專利]一種面向手術顯微鏡的立體圖像互補增強裝置及方法

有效

• 申請號: 202110064705.X
• 申請日: 2021-01-18
• 公開（公告）號: CN112835192B
• 公開（公告）日: 2023-01-24
• 發明（設計）人: 劉威;邵航;戴樸;王國建;唐潔;廖家勝
• 申請（專利權）人: 浙江未來技術研究院（嘉興）
• 主分類號: G02B21/36
• 分類號: G02B21/36;G02B21/22;G02B21/24;G02B21/06
• 代理公司: 北京華清迪源知識產權代理有限公司 11577
• 代理人: 丁彥峰

1.一種面向手術顯微鏡的立體圖像互補增強方法，用于面向手術顯微鏡的立體圖像互補增強裝置，其特征在于，包括：

獲取給定場景的高分辨小景深圖像數據集和低分辨大景深圖像數據集，通過改變顯微鏡的工作距離獲得不同位置的左圖像序列I_l{I_l1,I_l2,…,I_ln}和右圖像序列I_r{I_r1,I_r2,…,I_rn}，采用景深融合算法獲得左視角的全畫幅清晰圖像I_lg和右視角的全畫幅清晰圖像I_rg；

構建基于參考視角的互補增強網絡，所述互補增強網絡包括第一路編解碼器ED1、第二路編解碼器ED2和基于光流的跨視角映射計算單元，將高分辨小景深圖像I_HRLD和低分辨大景深圖像I_LRHD輸送到基于光流的跨視角映射計算單元中，計算高分辨小景深圖像I_HRLD和低分辨大景深圖像I_LRHD上的運動得到視差圖D；再將高分辨小景深圖像I_HRLD輸送到第一路編解碼器ED1中，低分辨大景深圖像I_LRHD輸送到第二路編解碼器ED2中，經過逐層特征編碼獲得不同尺度的編碼特征，然后通過解碼器逐層上采樣恢復到輸入尺寸；

使用所述高分辨小景深圖像數據集和低分辨大景深圖像數據集對所述互補增強網絡進行訓練，對所述互補增強網絡進行循環迭代訓練使損失函數減小直到完成設定的迭代次數N，并將網絡參數進行保存；

將測試數據集輸入到訓練后的互補增強網絡中進行處理，得到增強后的左右視角高分辨大景深圖像；

用于的面向手術顯微鏡的立體圖像互補增強裝置包括：

立體圖像采集單元(1)，所述立體圖像采集單元(1)設有第一感光元件(2)和第二感光元件(3)，所述第一感光元件(2)用于作為第一觀測被測物體表面發出的光子，第一感光元件(2)對被測物體在第一觀測視角下的像進行呈現；所述第二感光元件(3)用于作為第二觀測視角接收被測物體表面發出的光子，第二感光元件(3)對被測物體在第二觀測視角下的像進行呈現；

非對稱顯微成像單元(4)，所述非對稱顯微成像單元(4)設有左變倍體(5)、右變倍體(6)、光源(7)、非對稱光圈組(8)和物鏡(9)；所述左變倍體(5)用于改變被測物體在第一感光元件(2)上的放大倍率，所述右變倍體(6)用于改變被測物體在第二感光元件(3)上的放大倍率；所述光源(7)用于對所述被測物體打光照明；所述非對稱光圈組(8)擁有兩路光圈值相異的第一光圈和第二光圈，所述第一光圈用于改變第一觀測視角的景深和空間分辨率；所述第二光圈用于改變第二觀測視角的景深和空間分辨率；所述物鏡(9)用于對包括第一觀測視角和第二觀測視角光路的顯微鏡工作距離進行配置；

立體圖像采集控制處理單元(10)，所述立體圖像采集控制處理單元(10)設有相機同步觸發器(11)和計算處理模塊(12)；所述第一感光元件(2)和第二感光元件(3)均與所述相機同步觸發器(11)連接，相機同步觸發器(11)用于控制所述第一感光元件(2)和第二感光元件(3)同時對被測物體進行拍攝；所述計算處理模塊(12)與所述相機同步觸發器(11)連接，計算處理模塊(12)用于對第一感光元件(2)和第二感光元件(3)的拍攝圖像進行模糊增強處理。

2.根據權利要求1所述的一種面向手術顯微鏡的立體圖像互補增強方法，其特征在于，分別選取所述左圖像序列I_l{I_l1,I_l2,…,I_ln}和右圖像序列I_r{I_r1,I_r2,…,I_rn}中的第一層作為訓練圖像輸入，將全畫幅清晰圖像I_lg和I_rg作為GroundTruth圖像。

3.根據權利要求1所述的一種面向手術顯微鏡的立體圖像互補增強方法，其特征在于，所述高分辨小景深圖像數據集為所述左視角的全畫幅清晰圖像I_lg集合，所述低分辨大景深圖像數據集為所述右視角的全畫幅清晰圖像I_rg集合。