[發明專利]用于便攜式電子內鏡的圖像融合方法

有效

• 申請號: 201810158828.8
• 申請日: 2018-02-26
• 公開（公告）號: CN108305252B
• 公開（公告）日: 2020-03-27
• 發明（設計）人: 孫剛;陳曉冬;肖禹澤;徐勇;郝福德;楊云生;張修禮;陳俊;欒哲
• 申請（專利權）人: 中國人民解放軍總醫院
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T5/00;G06T5/50;G06K9/62
• 代理公司: 北京京萬通知識產權代理有限公司 11440
• 代理人: 齊曉靜

本發明提供一種用于便攜式電子內鏡的圖像融合方法。本發明根據整體圖像質量，如像素曝光質量、細節豐富程度，從圖像序列中選擇參考圖像。從像素曝光質量、細節豐富程度及與參考圖像之間的局部相似性三個角度對圖像內容進行評價，并根據評價結果確定融合權重。采用拉普拉斯金字塔圖像融合算法進行圖像融合，從而得到高動態范圍圖像。

技術領域

本發明涉及到圖像融合技術，特別涉及便攜式電子內鏡中的圖像融合方法。

背景技術

電子內鏡系統是一種對人體內部的各種器官和組織的健康狀態進行檢查的醫療儀器，其插入人體內的一端裝有由一小塊硅片集成的CCD鏡頭，它能將待查部位的圖像轉化為數字化的電信號，輸出至體外由圖像監視器接收并顯示。這一技術的應用使人體內部圖像的貯存、再現、會診以及管理成為可能。常用的電子內鏡包含鏡體、光源、圖像處理單元、水氣供給單元、顯示器、圖像處理工作站等設備，整套系統體積龐大，需要多人共同完成操作，因此并不適用于野戰、救災等特殊情況。

本發明涉及的便攜式電子內鏡系統體積小，其內部集成供電模塊、水氣模塊、LED光源模塊及嵌入式圖像處理系統及界面，可單人攜帶、獨立完成診療操作，機動性好。不受電子、電磁、輻射、高溫、干燥等影響，對水、電、氣要求低，環境適應性強，適合在一些惡劣環境下對病人的緊急檢查和治療。

便攜式電子內鏡主要對胃部環境進行檢測，觀察組織的病變情況。由于胃部環境狹窄不平整，可能出現某些部位很亮或者很暗的情況，圖像中將不可避免地出現過度曝光或曝光不足的失真區域。內鏡圖像的最大亮度與最小亮度之比被稱為動態范圍，由于數字成像設備的動態范圍遠小于內鏡檢查環境，因此便攜式電子內鏡中需要一種高效的高動態范圍(High Dynamic Range，HDR)的成像技術來應對病人胃部組織的檢查。

多次曝光是獲取HDR圖像的一種常用方法。經典的HDR算法包含兩個步驟，首先對相機的響應函數(Camera Response Function，CRF)進行估計，根據不同曝光時間的圖像序列重建現實場景的輻射圖，再對重建結果應用色調映射(Tone Mapping)算法，得到適用于常規顯示設備的低動態范圍圖像(Low Dynamic Range，LDR)。與經典的HDR算法不同，曝光融合算法跳過合成HDR圖像的過程，直接通過圖像融合方法來重建與HDR成像效果類似的高質量圖像。相比之下，曝光融合算法無需進行相機響應函數估計與色調映射，因而更加高效。由于體內環境中往往存在器官收縮舒張等生理現象，如何在實現高動態范圍圖像融合過程中排除運動物體的干擾，成為近年來研究的熱點問題。2007年，T.Mertens等人提出了曝光融合的概念，根據圖像局部對比度、飽和度和曝光質量計算權重，對不同曝光時間下的圖像序列進行融合，但該方法僅對靜態場景有效，當場景中存在動態目標時，融合結果中將出現運動模糊、鬼影等現象。2009年，Gallo等人利用相機響應曲線重建場景輻射圖，通過圖像序列與參考圖像之間的關系來判別運動鬼影所在的區域，進而在融合過程中去除鬼影。但該方法需要重建相機響應曲線，并且在去除鬼影的同時往往會造成連同運動目標一起去除，導致融合結果與真實場景不符。2012年，Sen等人針對動態場景提出一種圖像對齊與鬼影去除算法，該算法在圖像序列中選擇一幀參考圖像，通過最小化能量方程獲得局部最優相似性。該算法對鬼影具有較好的抑制效果，但同樣需要重建相機響應曲線，并且重建結果仍會有少量區域存在過度曝光現象。

發明內容

本發明的目的是提供一種用于便攜式電子內鏡的動態場景曝光融合算法實現高動態范圍的動態場景圖像融合。本發明根據整體圖像質量，如像素曝光質量、細節豐富程度，從圖像序列中選擇參考圖像。從像素曝光質量、細節豐富程度及與參考圖像之間的局部相似性三個角度對圖像內容進行評價，并根據評價結果確定融合權重。采用拉普拉斯金字塔圖像融合算法進行圖像融合，從而得到高動態范圍圖像。

本發明的用于便攜式電子內鏡的圖像融合方法，包括：

步驟1.利用便攜式電子內鏡，得到人體內部組織的圖像序列；