[發明專利]圖像融合系統、方法、裝置、設備及存儲介質

有效

• 申請號: 202110971175.7
• 申請日: 2021-08-24
• 公開（公告）號: CN113436129B
• 公開（公告）日: 2021-11-16
• 發明（設計）人: 汪遠;李嶺;周豐茂
• 申請（專利權）人: 南京微納科技研究院有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T17/00
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 吳梅錫;黃健

本發明實施例提供一種圖像融合系統、方法、裝置、設備及存儲介質，其中系統包括：成像模塊、圖像處理模塊以及顯示模塊，成像模塊包括用于采集第一波段的光的多目相機以及用于采集第二波段的光的第二相機，多目相機包括若干第一相機，所述若干第一相機為兩個或兩個以上第一相機，圖像處理模塊用于根據若干第一相機采集到的圖像，進行三維重構，生成三維圖像，對生成的三維圖像以及第二相機采集到的圖像進行融合，得到融合后的圖像，顯示模塊用于顯示下述至少一項：三維圖像、第二相機采集到的圖像、融合后的圖像，可以準確匹配第二相機采集到的圖像在生成的圖像中的位置，提高圖像的融合精度，為手術提供精準的導航影像。

技術領域

本發明涉及成像領域，尤其涉及一種圖像融合系統、方法、裝置、設備及存儲介質。

背景技術

熒光分子影像手術導航系統可以通過對人體注射熒光造影劑使其聚集在病變器官腫瘤處，利用造影劑熒光顯影技術實現腫瘤定位、形態獲取以及病變器官的圖像采集，并將腫瘤圖像與病變器官圖像進行融合，通過顯示器顯示出融合圖像，幫助醫生進行腫瘤切除手術。

現有技術中，通過一臺紅外相機和一臺可見光相機分別采集病變部位的圖像進行融合顯示。但是紅外相機和可見光相機采集到的像素視野、使用的鏡頭不同、采集到的圖像深度不同，在圖像融合時會出現融合位置的偏差，影響手術的精度。

發明內容

本發明實施例提供一種圖像融合系統、方法、裝置、設備及存儲介質，使得圖像的融合位置更為準確，為手術提供精準的導航影像。

第一方面，本發明實施例提供一種圖像融合系統，所述系統包括：

成像模塊、圖像處理模塊以及顯示模塊；

所述成像模塊包括用于采集第一波段的光的多目相機以及用于采集第二波段的光的第二相機；

所述多目相機包括若干第一相機，所述若干第一相機為兩個或兩個以上第一相機；

所述圖像處理模塊用于根據所述若干第一相機采集到的圖像，進行三維重構，生成三維圖像；對生成的三維圖像以及所述第二相機采集到的圖像進行融合，得到融合后的圖像；

所述顯示模塊用于顯示下述至少一項：所述三維圖像、所述第二相機采集到的圖像、所述融合后的圖像。

可選的，所述若干第一相機的視場不同，且所述若干第一相機的視場具有重疊區，所述重疊區為第一重疊區，所述第二相機的視場與所述第一重疊區具有第二重疊區，待觀測物置于所述第二重疊區內。

可選的，所述第一重疊區的中心點置于所述第二相機的光軸上。

可選的，所述若干第一相機獲取清晰圖像的范圍具有重疊范圍，所述第二相機的成像面在所述重疊范圍內。

可選的，所述第二相機采集到的圖像為平面圖像，所述平面圖像為所述三維圖像中垂直所述第二相機的光軸方向的一層。

可選的，所述第一波段的光為可見光，所述第一相機為可見光相機，拍攝得到的圖像為可見光圖像；和/或，

所述第二波段的光為紅外光，所述第二相機為紅外相機，拍攝得到的圖像為紅外圖像。

可選的，所述第二波段的光為紅外二區的光。

可選的，所述系統還包括：

紅外激光模塊，用于激發紅外熒光造影劑；

相應的，所述紅外相機具體用于采集通過所述紅外激光模塊激發熒光造影劑在腫瘤區域形成的紅外光。

可選的，所述成像模塊中的第一相機和第二相機的光軸相互平行，所述第二相機置于所述若干第一相機的中心位置。