[發(fā)明專利]一種基于特征遷移的超聲或CT醫(yī)學(xué)影像三維重建方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011623215.0
• 申請(qǐng)日: 2020-12-30
• 公開（公告）號(hào): CN112700534B
• 公開（公告）日: 2022-07-08
• 發(fā)明（設(shè)計(jì)）人: 全紅艷;錢笑笑
• 申請(qǐng)（專利權(quán)）人: 華東師范大學(xué)
• 主分類號(hào): G06T17/00
• 分類號(hào): G06T17/00;G06N3/04;G06N3/08
• 代理公司: 上海藍(lán)迪專利商標(biāo)事務(wù)所(普通合伙) 31215
• 代理人: 徐筱梅;張翔

本發(fā)明公開了一種基于特征遷移的超聲或CT醫(yī)學(xué)影像三維重建方法，本發(fā)明的特點(diǎn)是采用無(wú)監(jiān)督學(xué)習(xí)，根據(jù)醫(yī)學(xué)影像采集的特點(diǎn)，利用視覺(jué)方法，采用特征遷移原理，共享網(wǎng)絡(luò)參數(shù)的機(jī)制，實(shí)現(xiàn)一種從超聲影像到CT影像的特征遷移，可以實(shí)現(xiàn)超聲影像及CT影像的三維重建,利用本發(fā)明能夠有效地實(shí)現(xiàn)超聲或CT影像的三維重建，在人工智能的輔助診斷中，能夠提供快速的3D可視化重建結(jié)果，從而提高輔助診斷的效率。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)技術(shù)領(lǐng)域中有關(guān)超聲或CT影像智能輔助診斷技術(shù)，涉及一種面向輔助診斷的三維重建方法，借助于自然圖像的成像規(guī)律，利用人工智能的學(xué)習(xí)策略，建立遷移學(xué)習(xí)機(jī)制，可以解決超聲或CT醫(yī)學(xué)影像快速三維重建的應(yīng)用問(wèn)題。

背景技術(shù)

近年來(lái)，人工智能技術(shù)快速發(fā)展，醫(yī)療輔助診斷的關(guān)鍵技術(shù)研究的意義重大。目前，醫(yī)學(xué)影像的三維重建技術(shù)研究中，由于攝像機(jī)的參數(shù)恢復(fù)存在一定的難度，導(dǎo)致目前醫(yī)學(xué)影像的三維重建技術(shù)的研究存在一定難點(diǎn)，特別是復(fù)雜模型的重建會(huì)給三維重建帶來(lái)時(shí)間復(fù)雜度高的嚴(yán)重問(wèn)題，不利于臨床醫(yī)療輔助診斷的應(yīng)用。如何建立有效的深度學(xué)習(xí)的網(wǎng)絡(luò)編碼模型，有效解決多模態(tài)影像的三維重建的快速問(wèn)題，這是亟待解決的實(shí)際問(wèn)題。

發(fā)明內(nèi)容

本發(fā)明為一種超聲或CT醫(yī)學(xué)影像三維重建方法，提出一種基于特征遷移的超聲或CT醫(yī)學(xué)影像三維重建方法，該方法采用遷移學(xué)習(xí)基本方法，能夠獲得目標(biāo)三維結(jié)構(gòu)，具有較高的實(shí)用價(jià)值。

實(shí)現(xiàn)本發(fā)明目的具體技術(shù)方案是：

一種基于特征遷移的超聲或CT醫(yī)學(xué)影像三維重建方法，該方法輸入一個(gè)超聲或者CT影像序列，其影像分辨率為M×N，100≤M≤1500，100≤N≤1500，三維重建的過(guò)程具體包括以下步驟：

步驟1：構(gòu)建數(shù)據(jù)集

(a)構(gòu)建自然圖像數(shù)據(jù)集D

選取一個(gè)自然圖像網(wǎng)站，要求具有圖像序列及對(duì)應(yīng)的攝像機(jī)內(nèi)部參數(shù)，從所述自然圖像網(wǎng)站下載a個(gè)圖像序列及序列對(duì)應(yīng)的內(nèi)部參數(shù),1≤a≤20,對(duì)于每個(gè)圖像序列，每相鄰3幀圖像記為圖像b、圖像c和圖像d，將圖像b和圖像d按照顏色通道進(jìn)行拼接，得到圖像τ，由圖像c與圖像τ構(gòu)成一個(gè)數(shù)據(jù)元素，圖像c為自然目標(biāo)圖像，圖像c的采樣視點(diǎn)作為目標(biāo)視點(diǎn)，圖像b、圖像c和圖像d的內(nèi)部參數(shù)均為e_t(t＝1，2，3，4)，其中e₁為水平焦距，e₂為垂直焦距，e₃及e₄是主點(diǎn)坐標(biāo)的兩個(gè)分量；如果同一圖像序列中最后剩余圖像不足3幀，則舍棄；利用所有序列構(gòu)建數(shù)據(jù)集D，數(shù)據(jù)集D有f個(gè)元素，而且3000≤f≤20000；

(b)構(gòu)建超聲影像數(shù)據(jù)集E

采樣g個(gè)超聲影像序列，其中1≤g≤20，對(duì)于每個(gè)序列，每相鄰3幀影像記為影像i、影像j和影像k，將影像i和影像k按照顏色通道進(jìn)行拼接得到影像π，由影像j與影像π構(gòu)成一個(gè)數(shù)據(jù)元素，影像j為超聲目標(biāo)影像,影像j的采樣視點(diǎn)作為目標(biāo)視點(diǎn)，如果同一影像序列中最后剩余影像不足3幀，則舍棄，利用所有序列構(gòu)建數(shù)據(jù)集E，數(shù)據(jù)集E有F個(gè)元素，而且1000≤F≤20000；

(c)構(gòu)建CT影像數(shù)據(jù)集G

采樣h個(gè)CT影像序列，其中1≤h≤20，對(duì)于每個(gè)序列，每相鄰3幀記為影像l、影像m和影像n，將影像l和影像n按照顏色通道進(jìn)行拼接得到影像σ，由影像m與影像σ構(gòu)成一個(gè)數(shù)據(jù)元素，影像m為CT目標(biāo)影像,影像m的采樣視點(diǎn)作為目標(biāo)視點(diǎn)，如果同一影像序列中最后剩余影像不足3幀，則舍棄，利用所有序列構(gòu)建數(shù)據(jù)集G，數(shù)據(jù)集G有ξ個(gè)元素，而且1000≤ξ≤20000；

步驟2：構(gòu)建神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)處理的圖像或影像的分辨率均為p×o，p為寬度，o為高度，以像素為單位，100≤o≤2000，100≤p≤2000；

(1)網(wǎng)絡(luò)A的結(jié)構(gòu)