[發(fā)明專利]剪切波變換和體繪制不透明度加權的三維圖像融合方法

有效

• 申請?zhí)枺?/td>: 201910516783.1
• 申請日: 2019-06-14
• 公開（公告）號: CN110223371B
• 公開（公告）日: 2020-12-01
• 發(fā)明（設計）人: 張文耀;王娜
• 申請（專利權）人: 北京理工大學
• 主分類號: G06T15/08
• 分類號: G06T15/08;G06T15/00
• 代理公司: 北京正陽理工知識產(chǎn)權代理事務所(普通合伙) 11639
• 代理人: 毛燕

本發(fā)明涉及一種基于剪切波變換和體繪制不透明度加權的三維圖像融合方法，屬于三維圖像融合技術領域。該方法把剪切波變換和直接體繪制技術結合起來，將三維圖像數(shù)據(jù)作為一個整體進行融合處理。首先，通過體繪制不透明度傳輸函數(shù)選擇感興趣的內容；接著借助體繪制不透明度設置剪切波變換高頻系數(shù)的融合權重；然后按照設定的權重在圖像的剪切波變換域進行加權融合；最后通過剪切波變換的逆變換得到融合結果。該方法實現(xiàn)了不同三維圖像數(shù)據(jù)之間感興趣內容的融合，取得了比較好的融合效果。本發(fā)明的方法同等對待三維圖像數(shù)據(jù)的各個維度，直接呈現(xiàn)三維空間信息，比較好地實現(xiàn)了不同內容的選取與融合，有利于三維圖像細節(jié)信息和空間結構特征的分析。

技術領域

本發(fā)明涉及一種圖像融合方法，特別涉及剪切波變換和體繪制不透明度加權的三維圖像融合方法，屬于三維圖像融合技術領域。

背景技術

隨著現(xiàn)代成像技術和影像采集設備的廣泛使用，很多應用領域產(chǎn)生了大量不同模態(tài)的三維圖像數(shù)據(jù)。由于成像原理和用途的差異，不同模態(tài)的數(shù)據(jù)所側重的內容也有明顯的差異。例如，CT(Computed Tomography)圖像能夠比較清晰地顯示高密度組織結構，但是低密度區(qū)域的圖像則比較模糊；而MRI(Magnetic Resonance Imaging)圖像卻能比較好捕獲低密度軟組織的細節(jié)信息。在實際應用中，為了獲取被研究對象更加全面的信息，往往需要將不同設備采集的不同模態(tài)的圖像數(shù)據(jù)融合起來進行綜合分析。

為此，國內外學者提出了很多圖像融合技術和方法。根據(jù)融合時數(shù)據(jù)表征層次的不同，可將這些技術和方法分為像素級融合、特征級融合和決策級融合。其中，像素級融合是指在圖像嚴格配準的前提下，按照某種融合規(guī)則或策略將原始圖像數(shù)據(jù)融合起來。按照融合時圖像數(shù)據(jù)所處形態(tài)，像素級融合又分為基于空間域的融合與基于變換域的融合。基于空間域的融合直接在圖像的原始數(shù)據(jù)空間進行融合。基于變換域的融合先將待融合圖像變換到其他域，例如使用小波變換或者是其他變換工具將圖像從空域變換到其他域，然后在變換域進行融合處理，最后使用同種變換方法的逆變換，將融合結果變回空間域。與空域融合相比，變換域融合具有良好的時頻分析特性，可以獲得豐富的細節(jié)信息。在目前眾多的變換工具中，剪切波變換(Shearlet Transform)是一種能比較好地表示高維信號各向異性特征的變換，在圖像融合中取得了比較好的應用效果。

另外，傳統(tǒng)的圖像融合工作大部分都是在二維圖像或者是三維圖像的二維切片上進行的。這對于現(xiàn)代成像設備所采集的三維圖像數(shù)據(jù)而言，具有比較明顯的局限性。因為在這種情況下，實際研究對象都是三維實體，基于二維圖像切片的融合無法利用相鄰切片之間的鄰域相關性，其結果是損失被研究對象的三維空間結構信息。如果直接對三維圖像數(shù)據(jù)進行融合，則可有效回避這個問題。由此，出現(xiàn)了多種三維圖像融合方法，如基于三維離散小波變換的融合方法以及基于三維離散剪切波變換的融合方法。與二維融合方法相比，三維融合方法同等對待各個維度，在保持三維空間結構信息方面更具有優(yōu)勢，可以取得更好的融合效果。但是仔細分析現(xiàn)有技術不難發(fā)現(xiàn)：大部分三維圖像融合都是基于整個待融合圖像來做的，沒有考慮實際應用中所關注的往往只是部分感興趣的內容(例如某種特定的組織結構或區(qū)域)。另外，在分析和查看三維融合結果時，往往又回到了二維切片空間。這既與實際應用習慣有關(人們習慣于查看二維切片圖像)，也與三維圖像數(shù)據(jù)的可視化難度有關(三維圖像數(shù)據(jù)不能直接顯示在二維屏幕上)。

直接體繪制技術(Direct Volume Rendering)是一種直接對三維體數(shù)據(jù)進行可視化的技術，能夠有效地揭示三維體數(shù)據(jù)內部的結構信息。例如，通過調節(jié)體繪制的不透明度傳遞函數(shù)(Opacity Transfer Function)可以將三維CT數(shù)據(jù)中隱含物體的空間結構呈現(xiàn)出來。因此，可以借助直接體繪制技術對三維圖像數(shù)據(jù)進行可視化分析，直接以三維投影的方式查看感興趣的內容。其中的關鍵在于設置和調節(jié)體繪制不透明度傳輸函數(shù)，以便將感興趣的內容以三維投影的方式顯示出來。與傳統(tǒng)的切片查看方式相比，這種方式可以直接感知三維空間結構信息，不需要根據(jù)二維切片圖像去想象和重構三維場景。但是這種方式在實際應用中也面臨不同三維圖像數(shù)據(jù)之間的信息融合問題。