[發(fā)明專(zhuān)利]一種基于遷移學(xué)習(xí)的超聲或CT醫(yī)學(xué)影像三維重建方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011621411.4
• 申請(qǐng)日: 2020-12-30
• 公開(kāi)（公告）號(hào): CN112767532B
• 公開(kāi)（公告）日: 2022-07-08
• 發(fā)明（設(shè)計(jì)）人: 全紅艷;錢(qián)笑笑
• 申請(qǐng)（專(zhuān)利權(quán)）人: 華東師范大學(xué)
• 主分類(lèi)號(hào): G06T17/00
• 分類(lèi)號(hào): G06T17/00;G06N3/04;G06N20/00
• 代理公司: 上海藍(lán)迪專(zhuān)利商標(biāo)事務(wù)所(普通合伙) 31215
• 代理人: 徐筱梅;張翔

1.一種基于遷移學(xué)習(xí)的超聲或CT醫(yī)學(xué)影像三維重建方法，其特征在于，該方法輸入一個(gè)超聲或者CT影像序列，其影像分辨率為M×N，100≤M≤1500，100≤N≤1500，三維重建的過(guò)程具體包括以下步驟：

步驟1：構(gòu)建數(shù)據(jù)集

(a)構(gòu)建自然圖像數(shù)據(jù)集D

選取一個(gè)自然圖像網(wǎng)站，要求具有圖像序列及對(duì)應(yīng)的攝像機(jī)內(nèi)部參數(shù)，從所述自然圖像網(wǎng)站下載a個(gè)圖像序列及序列對(duì)應(yīng)的內(nèi)部參數(shù),1≤a≤20,對(duì)于每個(gè)圖像序列，每相鄰3幀圖像記為圖像b、圖像c和圖像d，將圖像b和圖像d按照顏色通道進(jìn)行拼接，得到圖像τ，由圖像c與圖像τ構(gòu)成一個(gè)數(shù)據(jù)元素，圖像c為自然目標(biāo)圖像，圖像c的采樣視點(diǎn)作為目標(biāo)視點(diǎn)，圖像b、圖像c和圖像d的內(nèi)部參數(shù)均為e_t(t＝1，2，3，4)，其中e₁為水平焦距，e₂為垂直焦距，e₃及e₄是主點(diǎn)坐標(biāo)的兩個(gè)分量；如果同一圖像序列中最后剩余圖像不足3幀，則舍棄；利用所有序列構(gòu)建數(shù)據(jù)集D，數(shù)據(jù)集D有f個(gè)元素，而且3000≤f≤20000；

(b)構(gòu)建超聲影像數(shù)據(jù)集E

采樣g個(gè)超聲影像序列，其中1≤g≤20，對(duì)于每個(gè)序列，每相鄰3幀影像記為影像i、影像j和影像k，將影像i和影像k按照顏色通道進(jìn)行拼接得到影像π，由影像j與影像π構(gòu)成一個(gè)數(shù)據(jù)元素，影像j為超聲目標(biāo)影像,影像j的采樣視點(diǎn)作為目標(biāo)視點(diǎn)，如果同一影像序列中最后剩余影像不足3幀，則舍棄，利用所有序列構(gòu)建數(shù)據(jù)集E，數(shù)據(jù)集E有F個(gè)元素，而且1000≤F≤20000；

(c)構(gòu)建CT影像數(shù)據(jù)集G

采樣h個(gè)CT影像序列，其中1≤h≤20，對(duì)于每個(gè)序列，每相鄰3幀記為影像l、影像m和影像n，將影像l和影像n按照顏色通道進(jìn)行拼接得到影像σ，由影像m與影像σ構(gòu)成一個(gè)數(shù)據(jù)元素，影像m為CT目標(biāo)影像,影像m的采樣視點(diǎn)作為目標(biāo)視點(diǎn)，如果同一影像序列中最后剩余影像不足3幀，則舍棄，利用所有序列構(gòu)建數(shù)據(jù)集G，數(shù)據(jù)集G有ξ個(gè)元素，而且1000≤ξ≤20000；步驟2：構(gòu)建神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)處理的圖像或影像的分辨率均為p×o，p為寬度，o為高度，以像素為單位，100≤o≤2000，100≤p≤2000；

(1)網(wǎng)絡(luò)A的結(jié)構(gòu)

張量H作為輸入，尺度為α×o×p×3，張量I作為輸出,尺度為α×o×p×1，α為批次數(shù)量；

網(wǎng)絡(luò)A由編碼器和解碼器組成，對(duì)于張量H，依次經(jīng)過(guò)編碼和解碼處理后，獲得輸出張量I；

編碼器由5個(gè)殘差單元組成，第1至5個(gè)單元分別包括2，3，4，6，3個(gè)殘差模塊，每個(gè)殘差模塊進(jìn)行3次卷積，卷積核的形狀均為3×3，卷積核的個(gè)數(shù)分別是64，64，128，256，512，其中，第一個(gè)殘差單元之后，包含一個(gè)最大池化層；

解碼器由6個(gè)解碼單元組成，每個(gè)解碼單元均包括反卷積和卷積兩步處理，反卷積和卷積處理的卷積核形狀、個(gè)數(shù)都相同，第1至6個(gè)解碼單元卷積核的形狀均為3×3，卷積核的個(gè)數(shù)分別是512，256，128，64，32，16，編碼器與解碼器的網(wǎng)絡(luò)層之間進(jìn)行跨層連接，跨層連接的對(duì)應(yīng)關(guān)系為：1與4、2與3、3與2、4與1；

(2)網(wǎng)絡(luò)B的結(jié)構(gòu)

張量J和張量K作為輸入，尺度分別為α×o×p×3和α×o×p×6，張量L和張量O作為輸出，尺度分別為α×2×6和α×4×1，α為批次數(shù)量；

網(wǎng)絡(luò)B由模塊P和模塊Q構(gòu)成，共有11層卷積單元,首先，將張量J和張量K按照最后一個(gè)通道進(jìn)行拼接，獲得尺度為α×o×p×9的張量，對(duì)于所述張量經(jīng)過(guò)模塊P和模塊Q處理后，分別獲得輸出張量L和張量O；

模塊Q與模塊P共享前4層卷積單元，前4層卷積單元結(jié)構(gòu)為：前兩層單元中卷積核尺度分別為7×7、5×5，第3層到第4層的卷積核尺度均為3×3，1至4層的卷積核個(gè)數(shù)依次為16、32、64、128；

對(duì)于模塊P，除了共享4層外，占據(jù)網(wǎng)絡(luò)B的第5層到第7層卷積單元，卷積核尺度均為3×3,卷積核個(gè)數(shù)均為256，第7層的處理結(jié)果利用12個(gè)3×3的卷積核進(jìn)行卷積處理后，將12個(gè)結(jié)果順次排成2行，得到張量L的結(jié)果；

對(duì)于模塊Q，除了共享網(wǎng)絡(luò)B的1至4層外，還占據(jù)網(wǎng)絡(luò)B的第8至11層卷積單元，網(wǎng)絡(luò)B的第2層輸出作為網(wǎng)絡(luò)B的第8層輸入，第8至11層卷積單元中卷積核的形狀均為3×3，卷積核個(gè)數(shù)均為256，第11層的結(jié)果利用4個(gè)3×3的卷積核進(jìn)行卷積處理后，從4個(gè)通道得到張量O的結(jié)果；

(3)網(wǎng)絡(luò)C的結(jié)構(gòu)

張量R和張量S作為網(wǎng)絡(luò)輸入，尺度均為α×o×p×3，張量T作為網(wǎng)絡(luò)輸出，尺度為α×o×p×2，α為批次數(shù)量；

網(wǎng)絡(luò)C設(shè)計(jì)為編碼和解碼結(jié)構(gòu)，首先，將張量R和張量S按照最后一個(gè)通道進(jìn)行拼接，獲得尺度為α×o×p×6的張量，對(duì)于所述張量經(jīng)過(guò)編碼和解碼處理后，獲得輸出張量T；

對(duì)于編碼結(jié)構(gòu)，由6層編碼單元組成，每層編碼單元包含1次卷積處理，1次批歸一化處理和1次激活處理，其中第1層編碼單元采用7×7卷積核，其它層編碼單元均采用3×3卷積核，第1和3層編碼單元的卷積步長(zhǎng)為1，其它層卷積步長(zhǎng)均為2，對(duì)于每層編碼單元，均采用Relu函數(shù)激活，1-6層編碼單元的卷積核個(gè)數(shù)分別為16、32、64、128、256、512；

對(duì)于解碼結(jié)構(gòu)，由6層解碼單元組成，每層解碼單元由反卷積單元、連接處理單元和卷積單元構(gòu)成，其中反卷積單元包括反卷積處理與Relu激活處理，1-6層反卷積核的大小均為3x3，對(duì)于第1-2層解碼單元，反卷積步長(zhǎng)為1，3-6層解碼單元的反卷積步長(zhǎng)為2，1-6層反卷積核的個(gè)數(shù)依次為512、256、128、64、32、16，連接處理單元將編碼單元和對(duì)應(yīng)解碼單元的反卷積結(jié)果連接后，輸入到卷積單元，1-5層卷積單元的卷積核大小為3x3，第6層卷積單元的卷積核大小為7x7，1-6層卷積單元的卷積步長(zhǎng)均為2，將第6層的卷積結(jié)果經(jīng)過(guò)2個(gè)3x3的卷積處理后，得到結(jié)果T；

(4)網(wǎng)絡(luò)μ的結(jié)構(gòu)

張量Ω作為網(wǎng)絡(luò)輸入，尺度為α×o×p×3，張量作為網(wǎng)絡(luò)輸出，尺度為α×o×p×1，α為批次數(shù)量；

網(wǎng)絡(luò)μ由編碼器和解碼器組成，對(duì)于張量Ω，依次經(jīng)過(guò)編碼和解碼處理后，獲得輸出張量

編碼器由14層編碼單元組成，每個(gè)編碼單元包含1次卷積處理，1次批歸一化處理和1次激活處理，第1和2層的編碼單元均采用7×7大小卷積核結(jié)構(gòu)，第3和4層的編碼單元采用5×5大小卷積核結(jié)構(gòu)，其余編碼單元設(shè)為3×3的卷積核，每個(gè)編碼單元的卷積步長(zhǎng)設(shè)計(jì)為：第1、3、5、7、9、11和13層的步長(zhǎng)設(shè)為2，其它層的步長(zhǎng)設(shè)為1，對(duì)于每個(gè)編碼單元都采用Relu函數(shù)激活處理，編碼結(jié)構(gòu)中，第1層至第8層的卷積核個(gè)數(shù)分別設(shè)為32、32、64、64、128、128、256、256，其余層的卷積核個(gè)數(shù)均為512；

解碼器由7層解碼單元組成，每層解碼單元由反卷積單元、連接處理單元和卷積單元構(gòu)成，在任意一層的解碼單元中，反卷積單元包括反卷積處理與Relu激活處理，各層反卷積核的大小均為3x3，步長(zhǎng)均為2，1至7層反卷積核的個(gè)數(shù)分別為512、512、256、128、64、32、16，連接處理單元將編碼單元和對(duì)應(yīng)層的反卷積特征連接后，輸入到下一卷積單元進(jìn)行卷積和Relu激活處理，在卷積單元中，1至7層卷積核的個(gè)數(shù)分別為512、512、256、128、64、32、16，在各卷積單元中，卷積核大小均為3x3，步長(zhǎng)均為1，4至7層解碼單元的輸出分別乘以權(quán)重后得到輸出結(jié)果張量

步驟3：神經(jīng)網(wǎng)絡(luò)的訓(xùn)練

分別將數(shù)據(jù)集D、數(shù)據(jù)集E和數(shù)據(jù)集G中樣本按照9:1劃分為訓(xùn)練集和測(cè)試集，訓(xùn)練集中數(shù)據(jù)用于訓(xùn)練，測(cè)試集數(shù)據(jù)用于測(cè)試，在下列各步驟訓(xùn)練時(shí)，分別從對(duì)應(yīng)的數(shù)據(jù)集中獲取訓(xùn)練數(shù)據(jù)，統(tǒng)一縮放到分辨率p×o，輸入到對(duì)應(yīng)網(wǎng)絡(luò)中，迭代優(yōu)化，通過(guò)不斷修改網(wǎng)絡(luò)模型參數(shù)，使得每批次的損失達(dá)到最小；

在訓(xùn)練過(guò)程中，各損失的計(jì)算方法：

內(nèi)部參數(shù)監(jiān)督合成損失：在自然圖像的網(wǎng)絡(luò)模型參數(shù)訓(xùn)練中，將網(wǎng)絡(luò)A的輸出張量I作為深度，將網(wǎng)絡(luò)B的輸出結(jié)果L與訓(xùn)練數(shù)據(jù)的內(nèi)部參數(shù)標(biāo)簽e_t(t＝1，2，3，4)分別作為位姿參數(shù)和攝像機(jī)內(nèi)部參數(shù)，根據(jù)計(jì)算機(jī)視覺(jué)算法，利用圖像b和圖像d分別合成圖像c視點(diǎn)處的兩個(gè)圖像，利用圖像c分別與所述的兩個(gè)圖像，按照逐像素、逐顏色通道強(qiáng)度差之和計(jì)算得到；

無(wú)監(jiān)督合成損失：在超聲或者CT影像的網(wǎng)絡(luò)模型參數(shù)訓(xùn)練中，將網(wǎng)絡(luò)μ的輸出張量作為深度，將網(wǎng)絡(luò)B的輸出張量L和張量O分別作為位姿參數(shù)和攝像機(jī)內(nèi)部參數(shù)，根據(jù)計(jì)算機(jī)視覺(jué)算法，利用目標(biāo)影像的兩相鄰影像分別合成目標(biāo)影像視點(diǎn)處的影像，利用目標(biāo)影像分別與所述目標(biāo)影像視點(diǎn)處的影像，按照逐像素、逐顏色通道強(qiáng)度差之和計(jì)算得到；

內(nèi)部參數(shù)誤差損失：利用網(wǎng)絡(luò)B的輸出結(jié)果O與訓(xùn)練數(shù)據(jù)的內(nèi)部參數(shù)標(biāo)簽e_t(t＝1，2，3，4)按照各分量差的絕對(duì)值之和計(jì)算得到；

空間結(jié)構(gòu)誤差損失：在超聲或者CT影像的網(wǎng)絡(luò)模型參數(shù)訓(xùn)練中，將網(wǎng)絡(luò)μ的輸出張量作為深度，將網(wǎng)絡(luò)B的輸出張量L和張量O分別作為位姿參數(shù)和攝像機(jī)內(nèi)部參數(shù)，根據(jù)計(jì)算機(jī)視覺(jué)算法，以目標(biāo)影像的視點(diǎn)為攝像機(jī)坐標(biāo)系的原點(diǎn)，對(duì)目標(biāo)影像進(jìn)行重建，采用RANSAC算法對(duì)重建點(diǎn)進(jìn)行空間結(jié)構(gòu)的擬合，利用目標(biāo)影像的每個(gè)重建點(diǎn)到空間幾何結(jié)構(gòu)的歐式距離計(jì)算得到；

變換合成損失：在超聲或者CT影像的網(wǎng)絡(luò)模型參數(shù)訓(xùn)練中，將網(wǎng)絡(luò)μ的輸出張量作為深度，將網(wǎng)絡(luò)B的輸出張量L和張量O分別作為位姿參數(shù)和攝像機(jī)內(nèi)部參數(shù)，根據(jù)計(jì)算機(jī)視覺(jué)算法，利用目標(biāo)影像的兩個(gè)相鄰影像合成目標(biāo)影像視點(diǎn)處的兩個(gè)影像的過(guò)程中，對(duì)于所述合成的兩個(gè)影像中的每個(gè)影像，在得到每個(gè)像素位置后，將每個(gè)像素的坐標(biāo)加上網(wǎng)絡(luò)C輸出的每個(gè)像素位移結(jié)果，得到每個(gè)像素新的位置，構(gòu)成合成結(jié)果影像，利用該合成結(jié)果影像與影像j之間的逐像素、逐顏色通道強(qiáng)度差之和計(jì)算得到；

(1)在數(shù)據(jù)集D上，分別對(duì)網(wǎng)絡(luò)A及網(wǎng)絡(luò)B的模塊P訓(xùn)練80000次

每次從數(shù)據(jù)集D中取出訓(xùn)練數(shù)據(jù)，統(tǒng)一縮放到分辨率p×o，將圖像c輸入網(wǎng)絡(luò)A，將圖像c及圖像τ輸入網(wǎng)絡(luò)B，對(duì)網(wǎng)絡(luò)B的模塊P進(jìn)行訓(xùn)練，每批次的訓(xùn)練損失由內(nèi)部參數(shù)監(jiān)督合成損失計(jì)算得到；

(2)在數(shù)據(jù)集D上，對(duì)網(wǎng)絡(luò)B的模塊Q訓(xùn)練80000次

每次從數(shù)據(jù)集D中取出訓(xùn)練數(shù)據(jù)，統(tǒng)一縮放到分辨率p×o，將圖像c輸入網(wǎng)絡(luò)A，將圖像c及圖像τ輸入網(wǎng)絡(luò)B，對(duì)網(wǎng)絡(luò)B的模塊Q進(jìn)行訓(xùn)練，每批次的訓(xùn)練損失由內(nèi)部參數(shù)監(jiān)督合成損失和內(nèi)部參數(shù)誤差損失之和計(jì)算得到；

(3)在數(shù)據(jù)集E上，對(duì)網(wǎng)絡(luò)μ及網(wǎng)絡(luò)B的模塊Q訓(xùn)練80000次，進(jìn)行特征遷移

每次從數(shù)據(jù)集E中取出超聲訓(xùn)練數(shù)據(jù)，統(tǒng)一縮放到分辨率p×o，將影像j輸入網(wǎng)絡(luò)μ，將影像j及影像π輸入網(wǎng)絡(luò)B，對(duì)網(wǎng)絡(luò)B的模塊Q進(jìn)行訓(xùn)練，每批次的訓(xùn)練損失計(jì)算如下：

z＝v+W+χ (1)

其中v為無(wú)監(jiān)督合成損失，W為空間結(jié)構(gòu)誤差損失，常深度損失χ利用網(wǎng)絡(luò)μ的輸出結(jié)果的均方差計(jì)算得到；

(4)在數(shù)據(jù)集E上，按照如下步驟對(duì)網(wǎng)絡(luò)B兩個(gè)模塊訓(xùn)練80000次

每次從數(shù)據(jù)集E中取出超聲訓(xùn)練數(shù)據(jù)，統(tǒng)一縮放到分辨率p×o，將影像j輸入網(wǎng)絡(luò)μ，將影像j及影像π輸入網(wǎng)絡(luò)B，訓(xùn)練過(guò)程中調(diào)整網(wǎng)絡(luò)B的兩個(gè)模塊參數(shù)，迭代優(yōu)化，使得每批次的每幅影像的損失達(dá)到最小，每批次的訓(xùn)練損失由無(wú)監(jiān)督合成損失、空間結(jié)構(gòu)誤差損失和常深度損失之和組成，常深度損失利用網(wǎng)絡(luò)μ的輸出結(jié)果的均方差計(jì)算得到；

(5)在數(shù)據(jù)集E上，對(duì)網(wǎng)絡(luò)C和網(wǎng)絡(luò)B的兩個(gè)模塊訓(xùn)練80000次

每次從數(shù)據(jù)集E中取出超聲影像訓(xùn)練數(shù)據(jù)，統(tǒng)一縮放到分辨率p×o，將影像j輸入網(wǎng)絡(luò)μ，將影像j及影像π輸入網(wǎng)絡(luò)B，將網(wǎng)絡(luò)μ的輸出作為深度，將網(wǎng)絡(luò)B的輸出作為位姿參數(shù)和攝像機(jī)內(nèi)部參數(shù)，分別根據(jù)影像i和影像k合成影像j視點(diǎn)處的兩張影像，將所述的兩張影像輸入網(wǎng)絡(luò)C，通過(guò)不斷修改網(wǎng)絡(luò)C和網(wǎng)絡(luò)B的參數(shù)，迭代優(yōu)化，使得每批次的每幅影像的損失達(dá)到最小，每批次的損失計(jì)算為變換合成損失、空間結(jié)構(gòu)誤差損失和常深度損失之和，其中常深度損失利用網(wǎng)絡(luò)μ的輸出結(jié)果的均方差計(jì)算得到；

(6)在數(shù)據(jù)集E上，對(duì)網(wǎng)絡(luò)C和網(wǎng)絡(luò)B的兩個(gè)模塊訓(xùn)練50000次，得到模型ρ

每次從數(shù)據(jù)集E中取出超聲影像訓(xùn)練數(shù)據(jù)，統(tǒng)一縮放到分辨率p×o，將影像j輸入網(wǎng)絡(luò)μ，將影像j及影像π輸入網(wǎng)絡(luò)B，將網(wǎng)絡(luò)μ的輸出作為深度，將網(wǎng)絡(luò)B的輸出作為位姿參數(shù)和攝像機(jī)內(nèi)部參數(shù)，分別根據(jù)影像i和影像k合成影像j視點(diǎn)處的兩張影像，將所述的兩張影像輸入網(wǎng)絡(luò)C，通過(guò)不斷修改網(wǎng)絡(luò)C和網(wǎng)絡(luò)B的參數(shù)，迭代優(yōu)化，使得每批次的每幅影像的損失達(dá)到最小，迭代后得到最優(yōu)的網(wǎng)絡(luò)模型參數(shù)ρ，每批次的損失計(jì)算為變換合成損失、空間結(jié)構(gòu)誤差損失之和；

(7)在數(shù)據(jù)集G上，對(duì)網(wǎng)絡(luò)C和網(wǎng)絡(luò)B訓(xùn)練80000次

每次從數(shù)據(jù)集G中取出CT影像訓(xùn)練數(shù)據(jù)，統(tǒng)一縮放到分辨率p×o，將影像m輸入網(wǎng)絡(luò)μ，將影像m及影像σ輸入網(wǎng)絡(luò)B，將網(wǎng)絡(luò)μ的輸出作為深度，將網(wǎng)絡(luò)B的輸出作為位姿參數(shù)和攝像機(jī)內(nèi)部參數(shù)，分別根據(jù)影像l和影像n合成影像m視點(diǎn)處的兩張影像，將所述的兩張影像輸入網(wǎng)絡(luò)C，通過(guò)不斷修改網(wǎng)絡(luò)C和網(wǎng)絡(luò)B的參數(shù)，迭代優(yōu)化，使得每批次的每幅影像的損失達(dá)到最小，每批次的損失計(jì)算為變換合成損失、空間結(jié)構(gòu)誤差損失、常深度損失和攝象機(jī)平移運(yùn)動(dòng)損失Y之和，其中，常深度損失利用網(wǎng)絡(luò)μ的輸出結(jié)果的均方差計(jì)算得到，Y由網(wǎng)絡(luò)B的輸出位姿參數(shù)，根據(jù)攝像機(jī)平移運(yùn)動(dòng)的約束計(jì)算得到；

(8)在數(shù)據(jù)集G上，對(duì)網(wǎng)絡(luò)C和網(wǎng)絡(luò)B訓(xùn)練50000次，得到模型ρ′

每次從數(shù)據(jù)集G中取出CT影像訓(xùn)練數(shù)據(jù)，統(tǒng)一縮放到分辨率p×o，將影像m輸入網(wǎng)絡(luò)μ，將影像m及影像σ輸入網(wǎng)絡(luò)B，將網(wǎng)絡(luò)μ的輸出作為深度，將網(wǎng)絡(luò)B的輸出作為位姿參數(shù)和攝像機(jī)內(nèi)部參數(shù)，分別根據(jù)影像l和影像n合成影像m視點(diǎn)處的兩張影像，將所述的兩張影像輸入網(wǎng)絡(luò)C，通過(guò)不斷修改網(wǎng)絡(luò)C和網(wǎng)絡(luò)B的參數(shù)，迭代優(yōu)化，使得每批次的每幅影像的損失達(dá)到最小，迭代后得到最優(yōu)的網(wǎng)絡(luò)模型參數(shù)ρ′，每批次的損失計(jì)算為變換合成損失、空間結(jié)構(gòu)誤差損失和攝象機(jī)平移運(yùn)動(dòng)損失Y之和，Y由網(wǎng)絡(luò)B的輸出位姿參數(shù)，根據(jù)攝像機(jī)平移運(yùn)動(dòng)的約束計(jì)算得到；

步驟4：超聲或者CT影像三維重建

利用自采樣的一個(gè)超聲或者CT序列影像，將每一幀影像統(tǒng)一縮放到分辨率p×o，使用模型參數(shù)ρ或者模型參數(shù)ρ′進(jìn)行預(yù)測(cè)，對(duì)于超聲序列影像，將影像j輸入網(wǎng)絡(luò)μ，將影像j及影像π輸入網(wǎng)絡(luò)B，對(duì)于CT序列影像，將影像m輸入網(wǎng)絡(luò)μ，將影像m及影像σ輸入網(wǎng)絡(luò)B，將網(wǎng)絡(luò)μ的輸出作為深度，將網(wǎng)絡(luò)B的輸出作為位姿參數(shù)和攝像機(jī)內(nèi)部參數(shù)，按照下列步驟選取關(guān)鍵幀，序列中第一幀作為當(dāng)前關(guān)鍵幀，依次將序列影像中的每一幀作為目標(biāo)幀，根據(jù)當(dāng)前關(guān)鍵幀，利用攝像機(jī)位姿參數(shù)和內(nèi)部參數(shù)，合成目標(biāo)幀視點(diǎn)處的影像，利用所述合成影像與目標(biāo)幀之間逐像素逐顏色通道強(qiáng)度差之和的大小計(jì)算誤差λ，再根據(jù)目標(biāo)幀的相鄰幀，利用攝像機(jī)位姿參數(shù)和內(nèi)部參數(shù)，合成目標(biāo)幀視點(diǎn)處的影像，利用所述合成影像與目標(biāo)幀之間逐像素逐顏色通道強(qiáng)度差之和的大小計(jì)算誤差γ，進(jìn)一步利用公式(2)計(jì)算合成誤差比Z，當(dāng)Z大于閾值η時(shí)，1η2,將當(dāng)前關(guān)鍵幀更新為此時(shí)的目標(biāo)幀；

對(duì)任一目標(biāo)幀，將其分辨率縮放到M×N，根據(jù)攝像機(jī)內(nèi)部參數(shù)，依據(jù)計(jì)算機(jī)視覺(jué)的重建算法，計(jì)算每幀影像每個(gè)像素的攝象機(jī)坐標(biāo)系中的三維坐標(biāo)，進(jìn)一步，將第一幀的視點(diǎn)作為世界坐標(biāo)系的原點(diǎn)，再結(jié)合所有關(guān)鍵幀的位姿參數(shù)，利用三維空間幾何變換，計(jì)算得到該序列每一幀影像每個(gè)像素的世界坐標(biāo)系中的三維坐標(biāo)。