[發(fā)明專利]2D-3D圖像配準(zhǔn)中的初始位姿估計(jì)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011026902.4
• 申請(qǐng)日: 2020-09-25
• 公開（公告）號(hào): CN112132876B
• 公開（公告）日: 2022-03-29
• 發(fā)明（設(shè)計(jì)）人: 孫濤;郭可;劉傳耙;宋軼民
• 申請(qǐng)（專利權(quán)）人: 天津大學(xué)
• 主分類號(hào): G06T7/33
• 分類號(hào): G06T7/33;G06T7/66;G06T7/11
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 李素蘭

本發(fā)明公開了2D?3D圖像配準(zhǔn)中的總體初始位姿估計(jì)方法，步驟為：識(shí)別原始正交平面圖像，對(duì)包含多個(gè)目標(biāo)的圖像通過(guò)分割、賦值得到待配準(zhǔn)正交圖像；然后從掃描得到的包含待配準(zhǔn)目標(biāo)的原始三維數(shù)據(jù)中提取、賦值得到待配準(zhǔn)目標(biāo)體數(shù)據(jù)，通過(guò)相關(guān)數(shù)字重建影像將目標(biāo)體數(shù)據(jù)投影生成原始空間位姿下的正交匹配模板。后續(xù)將正交匹配模板與待配準(zhǔn)正交圖像配準(zhǔn)得到的平面配準(zhǔn)參數(shù)通過(guò)正交投影原理轉(zhuǎn)換為空間參數(shù)，再利用空間參數(shù)生成新的參照?qǐng)D與待配準(zhǔn)圖像重疊顯示，根據(jù)正側(cè)位重疊效果的不同進(jìn)行人工校正，最后按人工校正對(duì)象得到的平面參數(shù)選擇對(duì)應(yīng)映射處理，即可實(shí)現(xiàn)空間5個(gè)參數(shù)的有效估計(jì)。采用本方法加快了配準(zhǔn)效率，減少了初始位姿估計(jì)的誤差。

技術(shù)領(lǐng)域

本發(fā)明涉及初始位姿估計(jì)方法，尤其涉及2D-3D圖像配準(zhǔn)中的初始位姿估計(jì)方法。

背景技術(shù)

2D-3D配準(zhǔn)是利用計(jì)算機(jī)技術(shù)實(shí)現(xiàn)同一目標(biāo)物體的二維平面圖像數(shù)據(jù)與三維空間圖像數(shù)據(jù)在空間位置和結(jié)構(gòu)紋理上的對(duì)齊，完成二維像素平面和三維模型空間的統(tǒng)一，進(jìn)而建立二者坐標(biāo)的轉(zhuǎn)換關(guān)系。

大部分2D-3D配準(zhǔn)是將三維體數(shù)據(jù)通過(guò)數(shù)字重建影像技術(shù)投影生成DRR圖像，比較DRR圖像與平面圖像的相似性，再不斷改變投影環(huán)境下三維體數(shù)據(jù)的六個(gè)空間參數(shù)，生成新的DRR圖像繼續(xù)與平面圖像比較，直至某一位置下投影生成的DRR圖像和平面圖像間的相似性達(dá)到最大，此時(shí)得到的三維體數(shù)據(jù)的空間參數(shù)，就是在相同相機(jī)坐標(biāo)系下生成2D平面圖像所對(duì)應(yīng)3D實(shí)體的三維位姿，當(dāng)生成DRR圖像的起始空間參數(shù)即初始位姿越接近3D實(shí)體的真實(shí)位姿，配準(zhǔn)的成功率就越高，配準(zhǔn)時(shí)間也越短。目前，對(duì)于初始位姿的估計(jì)通常有以下方法，如目標(biāo)對(duì)象植入標(biāo)記物、粘貼標(biāo)記點(diǎn)和探針拾取點(diǎn)的方式，在配準(zhǔn)前進(jìn)行標(biāo)記物的追蹤獲取初始位姿；或者通過(guò)成像設(shè)置，限制目標(biāo)在成像設(shè)備下的位置(如正側(cè)位、前后位等)，以及用戶識(shí)別圖像中的結(jié)構(gòu)特征位置實(shí)現(xiàn)初始位姿的估計(jì)。盡管上述操作能獲取初始位姿，但這些方法主要存在如下不足：1)通過(guò)植入物完成初始位姿估計(jì)需要額外的操作，具有過(guò)程復(fù)雜的缺點(diǎn)，也可能造成目標(biāo)結(jié)構(gòu)的變化；2)未考慮標(biāo)記點(diǎn)與探針因目標(biāo)彈性變形或非剛體結(jié)構(gòu)產(chǎn)生的誤差、可被估計(jì)的空間參數(shù)數(shù)量少，獲得的初始位姿精度較差；3)自動(dòng)化程度低，增加了2D-3D配準(zhǔn)的準(zhǔn)備時(shí)間，降低了配準(zhǔn)效率；4)配準(zhǔn)研究的對(duì)象為單一目標(biāo)，缺少對(duì)多目標(biāo)對(duì)象的初始位姿獲取。

綜上，現(xiàn)有的初始位姿估計(jì)方法難以滿足2D-3D高精度圖像配準(zhǔn)的要求。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服已有技術(shù)的缺點(diǎn)，提供一種操作方便、效率快、精度高，且具有人機(jī)交互簡(jiǎn)單化等特點(diǎn)的2D-3D圖像配準(zhǔn)中的初始位姿估計(jì)方法。

本發(fā)明的技術(shù)方案：

本發(fā)明的2D-3D圖像配準(zhǔn)中的總體初始位姿估計(jì)方法，包括以下步驟：

(1)識(shí)別原始正交雙平面圖像，所述的原始正交雙平面圖像包括原始正位圖像和原始側(cè)位圖像，原始正位圖像和原始側(cè)位圖像都是在同一相機(jī)坐標(biāo)系下，拍攝角度相差90°生成的圖像，相機(jī)正位光源到原始正位圖像中點(diǎn)、相機(jī)側(cè)位光源到原始側(cè)位圖像中點(diǎn)的距離相同，同時(shí)相機(jī)正位光源與原始正位圖像中點(diǎn)連線所在的直線為原始正位圖像的法向量，相機(jī)側(cè)位光源與原始側(cè)位圖像中點(diǎn)連線所在的直線為原始側(cè)位圖像的法向量。對(duì)原始正交雙平面圖像中含多目標(biāo)的圖像通過(guò)區(qū)域生長(zhǎng)算法進(jìn)行分割，提取原始正交雙平面圖像中需要進(jìn)行配準(zhǔn)的2D目標(biāo)用于后續(xù)初始位姿估計(jì)；

(2)采用圖像處理軟件Mimics從包含待配準(zhǔn)目標(biāo)實(shí)體的原始三維體數(shù)據(jù)中，提取與待配準(zhǔn)正位圖像以及待配準(zhǔn)側(cè)位圖像中的2D待配準(zhǔn)目標(biāo)相對(duì)應(yīng)的3D目標(biāo)體數(shù)據(jù)，再通過(guò)MATLAB軟件對(duì)提取的待配準(zhǔn)目標(biāo)的3D目標(biāo)體數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換和重采樣處理，最后構(gòu)建投影坐標(biāo)系O-XYZ，通過(guò)正交投影獲得與待配準(zhǔn)正位圖像分辨率大小和像素尺寸一致的原始空間位姿下的正位匹配模板，以及與待配準(zhǔn)側(cè)位圖像分辨率大小和像素尺寸一致的原始空間位姿下的側(cè)位匹配模板，所述的正位匹配模板和側(cè)位匹配模板組成雙平面匹配模板，所述原始空間位姿是指目標(biāo)體數(shù)據(jù)在投影坐標(biāo)系下沿X軸、Y軸和Z軸的移動(dòng)參數(shù)和轉(zhuǎn)動(dòng)參數(shù)都為0時(shí)的空間位姿；