[發(fā)明專利]圖像配準(zhǔn)及其神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法及裝置

有效

• 申請?zhí)枺?/td>: 202010071043.4
• 申請日: 2020-01-21
• 公開（公告）號: CN111275749B
• 公開（公告）日: 2023-05-02
• 發(fā)明（設(shè)計）人: 王軍搏;韓冬
• 申請（專利權(quán)）人: 沈陽先進醫(yī)療設(shè)備技術(shù)孵化中心有限公司
• 主分類號: G06T7/33
• 分類號: G06T7/33;G06N3/0464;G06N3/084;G06N3/088;G06N3/045
• 代理公司: 北京博思佳知識產(chǎn)權(quán)代理有限公司 11415
• 代理人: 靳玫

本發(fā)明公開了圖像配準(zhǔn)及其神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法及裝置、電子設(shè)備、存儲介質(zhì)。方法包括：獲取多組訓(xùn)練樣本對，每組訓(xùn)練樣本對包含不同的掃描條件下獲取的兩幅醫(yī)學(xué)圖像；針對每組訓(xùn)練樣本對，將兩幅醫(yī)學(xué)圖像分別選為配準(zhǔn)參考圖像、待配準(zhǔn)圖像，輸入第一神經(jīng)網(wǎng)絡(luò)；通過第一神經(jīng)網(wǎng)絡(luò)輸出的配準(zhǔn)信息對待配準(zhǔn)圖像進行空間變換，得到第一預(yù)測配準(zhǔn)圖像；將第一預(yù)測配準(zhǔn)圖像和待配準(zhǔn)圖像輸入第二神經(jīng)網(wǎng)絡(luò)，第二神經(jīng)網(wǎng)絡(luò)用于估計第一預(yù)測配準(zhǔn)圖像向待配準(zhǔn)圖像配準(zhǔn)的配準(zhǔn)信息；根據(jù)配準(zhǔn)信息調(diào)節(jié)第一神經(jīng)網(wǎng)絡(luò)和第二神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)，第一神經(jīng)網(wǎng)絡(luò)和第二神經(jīng)網(wǎng)絡(luò)共享網(wǎng)絡(luò)參數(shù)。使用由此獲得的神經(jīng)網(wǎng)絡(luò)對圖像進行配準(zhǔn)，提高了圖像配準(zhǔn)的準(zhǔn)確性。

技術(shù)領(lǐng)域

本發(fā)明涉及醫(yī)學(xué)成像技術(shù)領(lǐng)域，特別涉及圖像配準(zhǔn)及其神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法及裝置、電子設(shè)備、存儲介質(zhì)。

背景技術(shù)

圖像配準(zhǔn)是指，把基于不同的掃描條件下，如不同采集時間、采集位置、采集設(shè)備、設(shè)備參數(shù)等，采集到的針對被測對象的醫(yī)學(xué)圖像按照對應(yīng)的空間位置或結(jié)構(gòu)關(guān)系進行匹配的過程。

傳統(tǒng)的圖像配準(zhǔn)技術(shù)，通常需要對兩幅待配準(zhǔn)的圖像進行特征的提取，如特征點、邊緣、輪廓等，并通過計算這些特征的相似性來找到匹配的特征對，并將特征對的空間位置映射到待配準(zhǔn)的圖像上，對待配準(zhǔn)圖像進行空間變換后，即可得到配準(zhǔn)后的圖像。由于傳統(tǒng)圖像配準(zhǔn)方法需要人為選定某些特征作為圖像配準(zhǔn)的依據(jù)，特征選取以及特征匹配算法優(yōu)劣的直接關(guān)系到最終配準(zhǔn)的精度和速度，且針對不同類型圖像配準(zhǔn)任務(wù)往往不具備通用性，具有局限性。

發(fā)明內(nèi)容

本發(fā)明提供圖像配準(zhǔn)及其神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法及裝置、電子設(shè)備、存儲介質(zhì)，以提高圖像配準(zhǔn)的準(zhǔn)確性。

具體地，本發(fā)明是通過如下技術(shù)方案實現(xiàn)的：

第一方面，提供一種用于圖像配準(zhǔn)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，所述神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法包括：

獲取訓(xùn)練樣本集合，所述訓(xùn)練樣本集合包含多組訓(xùn)練樣本對，每組訓(xùn)練樣本對包含兩幅醫(yī)學(xué)圖像，所述兩幅醫(yī)學(xué)圖像在不同的掃描條件下獲?。?/p>

針對每組訓(xùn)練樣本對，從所述兩幅醫(yī)學(xué)圖像中選擇一幅醫(yī)學(xué)圖像作為配準(zhǔn)參考圖像，另一幅作為待配準(zhǔn)圖像，輸入第一神經(jīng)網(wǎng)絡(luò)，所述第一神經(jīng)網(wǎng)絡(luò)用于估計所述待配準(zhǔn)圖像向所述配準(zhǔn)參考圖像配準(zhǔn)的配準(zhǔn)信息；

通過所述第一神經(jīng)網(wǎng)絡(luò)輸出的配準(zhǔn)信息對所述待配準(zhǔn)圖像進行空間變換，得到第一預(yù)測配準(zhǔn)圖像；

將所述第一預(yù)測配準(zhǔn)圖像和所述待配準(zhǔn)圖像輸入第二神經(jīng)網(wǎng)絡(luò)，所述第二神經(jīng)網(wǎng)絡(luò)用于估計所述第一預(yù)測配準(zhǔn)圖像向所述待配準(zhǔn)圖像配準(zhǔn)的配準(zhǔn)信息；

根據(jù)所述配準(zhǔn)信息調(diào)節(jié)所述第一神經(jīng)網(wǎng)絡(luò)和所述第二神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)，所述第一神經(jīng)網(wǎng)絡(luò)和所述第二神經(jīng)網(wǎng)絡(luò)共享所述網(wǎng)絡(luò)參數(shù)；

通過訓(xùn)練完成的神經(jīng)網(wǎng)絡(luò)對所述醫(yī)學(xué)圖像進行圖像配準(zhǔn)。

可選地，根據(jù)所述配準(zhǔn)信息調(diào)節(jié)所述第一神經(jīng)網(wǎng)絡(luò)和所述第二神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)，包括：

通過所述第二神經(jīng)網(wǎng)絡(luò)輸出的配準(zhǔn)信息對所述第一預(yù)測配準(zhǔn)圖像進行空間變換，得到第二預(yù)測配準(zhǔn)圖像；

確定所述第二預(yù)測配準(zhǔn)圖像與所述待配準(zhǔn)圖像的損失誤差，以及所述第一預(yù)測配準(zhǔn)圖像與所述配準(zhǔn)參考圖像的損失誤差；

根據(jù)所述損失誤差調(diào)節(jié)所述網(wǎng)絡(luò)參數(shù)。

可選地，所述神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法還包括：

對調(diào)所述訓(xùn)練樣本對中兩幅醫(yī)學(xué)圖像的準(zhǔn)參考圖像與待配準(zhǔn)圖像的關(guān)系后，將其作為新的訓(xùn)練樣本對輸入所述第一神經(jīng)網(wǎng)絡(luò)。

可選地，所述第一神經(jīng)網(wǎng)絡(luò)和所述第二神經(jīng)網(wǎng)絡(luò)均包含第一類卷積層單元和第二類卷積單元；

所述第一神經(jīng)網(wǎng)絡(luò)估計所述待配準(zhǔn)圖像向所述配準(zhǔn)參考圖像配準(zhǔn)的配準(zhǔn)信息，包括：