[發明專利]2D與裸眼3D雙屏內窺鏡系統及顯示方法

有效

• 申請號: 201710916929.2
• 申請日: 2017-09-30
• 公開（公告）號: CN107595408B
• 公開（公告）日: 2020-05-12
• 發明（設計）人: 宋恩民;余鋒;劉倩;朱君;劉宏
• 申請（專利權）人: 華中科技大學
• 主分類號: A61B90/00
• 分類號: A61B90/00
• 代理公司: 杭州宇信知識產權代理事務所(普通合伙) 33231
• 代理人: 楊宇

1.一種2D與裸眼3D雙屏顯示內窺鏡系統，其特征在于，包括依次相連的圖像采集裝置、圖像處理裝置和圖像顯示裝置，其中：

所述圖像采集裝置，用于采集左視圖和右視圖；

所述圖像處理裝置，包括圖像采集模塊、中間視點生成模塊，所述圖像采集模塊用于對所述左視圖和右視圖進行數據轉換和存儲，所述中間視點生成模塊用于根據所述左視圖和右視圖生成若干中間視點視圖，并根據裸眼3D監視器的像素排列表融合多視角圖像；

所述圖像顯示裝置，包括2D監視器、裸眼3D監視器，所述2D監視器與所述圖像采集模塊相連以對所述圖像采集模塊處理后的圖像進行2D顯示，所述裸眼3D監視器與所述中間視點生成模塊相連以對所述中間視點生成模塊處理后的圖像進行裸眼3D顯示；其特征在于，所述中間視點生成模塊包括匹配點對生成單元、平行視圖及視差矩陣生成單元、匹配點對二次獲取及去噪單元、MLS變形單元，所述匹配點對生成單元用于根據所述左視圖和右視圖得到匹配點對；所述平行視圖及視差矩陣生成單元用于根據所述匹配點對得到平行視圖及視差矩陣；所述匹配點對二次獲取及去噪單元用于根據所述平行視圖及視差矩陣獲取更多匹配點對，同時去除差異性較大的匹配點對以得到去噪后的匹配點對；所述MLS變形單元用于根據所述去噪后的匹配點對生成不同中間視點圖像。

2.根據權利要求1所述的2D與裸眼3D雙屏顯示內窺鏡系統，其特征在于，所述匹配點對生成單元包括原始匹配點對生成子單元、錯誤匹配點對去除子單元，所述原始匹配點對生成子單元用于根據所述左視圖和右視圖得到原始的匹配點對，所述錯誤匹配點對去除子單元用于去除錯誤匹配點對。

3.根據權利要求1所述的2D與裸眼3D雙屏顯示內窺鏡系統，其特征在于，所述平行視圖及視差矩陣生成單元包括平行視圖生成子單元、視差矩陣生成子單元，所述平行視圖生成子單元用于根據基礎矩陣及極線幾何關系對所述左視圖和右視圖進行前置變換以得到平行視圖，所述視差矩陣生成子單元用于根據三角網矩陣變換得到所述左視圖和右視圖的視差矩陣。

4.根據權利要求1-3任一項所述的2D與裸眼3D雙屏顯示內窺鏡系統，其特征在于，還包括融合單元，所述融合單元用于將所述中間視點圖像根據裸眼3D監視器的像素排列表規則進行融合。

5.一種2D與裸眼3D雙屏顯示內窺鏡系統的顯示方法，其特征在于，包括如下步驟：

(1)圖像采集裝置采集左視圖和右視圖；

(2)圖像處理裝置對所述左視圖和右視圖進行數據轉換和存儲,并通過中間視點生成方法根據所述左視圖和右視圖生成若干中間視點視圖，并根據裸眼3D監視器的像素排列表融合多視角圖像；

(3)2D監視器對獲得的所述左或右視圖進行2D顯示，所述3D監視器對所述中間視點視圖進行裸眼3D顯示；所述中間視點生成方法包括如下步驟：首先根據所述左視圖和右視圖得到匹配點對；再根據所述匹配點對得到平行視圖及視差矩陣；接著根據所述平行視圖及視差矩陣得到更多匹配點對，同時去除差異性較大的匹配點對以得到去噪后的匹配點對；最后將所述去噪后的匹配點對通過MLS變形生成不同中間視點圖像。

6.根據權利要求5所述的2D與裸眼3D雙屏顯示內窺鏡系統的顯示方法，其特征在于，所述得到所述匹配點對的具體步驟為：先根據所述左視圖和右視圖得到原始的匹配點對，再去除錯誤匹配點對。

7.根據權利要求6所述的2D與裸眼3D雙屏顯示內窺鏡系統的顯示方法，其特征在于，所述得到所述平行視圖及視差矩陣的具體步驟為：首先根據基礎矩陣及極線幾何關系對所述左視圖和右視圖進行前置變換以得到平行視圖，再根據三角網矩陣變換得到所述左視圖和右視圖的視差矩陣。

8.根據權利要求5-7任一項所述的2D與裸眼3D雙屏顯示內窺鏡系統的顯示方法，其特征在于，所述生成若干中間視點視圖的步驟還包括對所述中間視點視圖進行融合。