[發明專利]3D顯微實時虛擬觀測與交互系統

有效

• 申請號: 202110462568.5
• 申請日: 2021-04-27
• 公開（公告）號: CN113315962B
• 公開（公告）日: 2022-10-28
• 發明（設計）人: 王躍宗;盧楊楊;彭囿番
• 申請（專利權）人: 北京工業大學
• 主分類號: H04N13/239
• 分類號: H04N13/239;H04N13/106;H04N13/332;G02B21/36
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 劉萍

本發明涉及一種3D顯微實時虛擬觀測與交互系統，特別是涉及對微小尺度物體實時或離線虛擬觀測，該系統主要包括雙目體視顯微鏡觀測平臺、虛擬觀測管理模塊、立體圖像對對準模塊、視差實時調整模塊和3D觀測模塊。本發明通過對雙目體視顯微鏡上左、右相機拍攝的圖像進行立體圖像對對準使其滿足立體顯示的條件僅存在水平方向的視差，3D觀測時對物體的視差實時調整使不同的人均能感受到立體顯示效果，利用手機或手柄使觀察者立體觀測的同時實時調整視差和改變待觀測物的位置，提高觀測系統的可操作性和便捷性。

技術領域

本發明涉及一種3D顯微實時虛擬觀測與交互系統，特別是涉及對立體圖像對對準和視差調整實現對微小尺度物體實時虛擬觀測，可通過手機或手柄實現與虛擬觀測系統的實時交互。

背景技術

目前操作人員對于微小尺度物體(如MEMS微結構、微小零件、微小生物組織、細胞等)的觀察通常是在顯微鏡下進行的，若直接通過體視顯微鏡的目鏡觀察，可以獲得立體顯示效果，但眼睛需要對準目鏡，長時間保持固定姿勢，極易產生疲勞、引起不適，也可以通過電腦實時顯示顯微鏡下的二維圖像，對于表面形狀比較復雜的物體，不能很好的展示其深度信息，降低定位精度。

與傳統的2D電影相比，3D電影的顯示效果更為逼真，給人一種身臨其境的感覺，使觀眾能夠獲得更好的沉浸式體驗。在微觀領域通過體視顯微鏡目鏡可以實時觀測到待觀測物體的立體效果，在實際使用體視顯微鏡的過程中，因操作者不同需對目鏡的瞳距進行調整才能看到清晰的立體圖像。楊澤聲等(2003)通過在體視顯微鏡的兩條光路中安裝相機，并將相機拍攝的圖像在兩臺監視器顯示，在監視器前面放置光學系統，陳木旺等(2010)直接將3D顯示設備上分為兩部分分別顯示兩個安裝在體視顯微鏡光路上的相機攝取的視頻，人眼在特定的位置都能觀察到3D圖像，但他們都無法保證左、右相機的安裝角度完全一致，也沒有對拍攝到的左、右圖像進行對準；左、右圖像分別顯示在顯示屏幕的左半部分和右半部分但不能對左、右圖像的相對位置進行調整，立體顯示時物體上某一點的視差僅與在左右圖像中的相對位置有關，相當于觀察者無法對體視顯微鏡的目鏡瞳距進行調節，可能觀察不到立體顯示效果或立體顯示效果不明顯；由于體視顯微鏡的視場范圍較小，只能觀察到待觀測物的局部，一個觀察者無法在立體觀測的同時對待觀測物體的位置精確調整，降低了觀測系統的便捷性和舒適性。

針對以上問題，本發明提出了一種3D顯微實時虛擬觀測與交互系統，對于顯微立體顯示來說，本發明具有特殊意義，表現在：(1)提出了一種立體圖像對對準方法，使左、右圖像對僅存在水平方向的視差滿足立體顯示的條件；(2)提出了一種立體圖像對視差調整方法，進而改善立體顯示效果，使不同的人都能感受立體顯示效果；(3)觀察者通過手機或手柄在立體觀測的同時改變待觀測物的位置，提高了虛擬觀測系統的可操作性、便捷性。

發明內容

本發明提出了3D顯微實時虛擬觀測與交互系統，其目的在于：通過對體視顯微鏡上左、右相機拍攝的圖像進行立體圖像對對準使其滿足立體顯示的條件，立體顯示時對物體的視差進行調整使不同的人均能感受到立體顯示效果，利用手機或手柄使觀察者立體觀測的同時調整視差和改變待觀測物的位置，提高觀測系統的便捷性。

本發明所涉及的3D顯微實時虛擬觀測與交互系統，是由雙目體視顯微鏡觀測平臺、虛擬觀測管理模塊、立體圖像對對準模塊和視差實時調整模塊、3D觀測模塊組成。

1)雙目體視顯微鏡觀測平臺