[發(fā)明專利]醫(yī)學(xué)圖像增強(qiáng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010219091.3
• 申請(qǐng)日: 2020-03-25
• 公開（公告）號(hào): CN111739614A
• 公開（公告）日: 2020-10-02
• 發(fā)明（設(shè)計(jì)）人: S.雷奧恩加摩恩拉特;A.皮尤;L.M.伊圖;T.曼西
• 申請(qǐng)（專利權(quán)）人: 西門子醫(yī)療有限公司
• 主分類號(hào): G16H30/20
• 分類號(hào): G16H30/20
• 代理公司: 中國(guó)專利代理(香港)有限公司 72001
• 代理人: 黃濤;陳嵐

提供了用于增強(qiáng)醫(yī)學(xué)圖像的系統(tǒng)和方法。接收具有初始視場(chǎng)的初始醫(yī)學(xué)圖像。使用經(jīng)訓(xùn)練的機(jī)器學(xué)習(xí)模型生成具有擴(kuò)展視場(chǎng)的擴(kuò)充醫(yī)學(xué)圖像。所述擴(kuò)展視場(chǎng)包括初始視場(chǎng)和擴(kuò)充區(qū)域。輸出所述擴(kuò)充醫(yī)學(xué)圖像。

技術(shù)領(lǐng)域

本發(fā)明一般地涉及醫(yī)學(xué)圖像增強(qiáng)，并且更具體地涉及用于生成具有擴(kuò)展視場(chǎng)的擴(kuò)充醫(yī)學(xué)圖像的基于人工智能的系統(tǒng)和方法。

背景技術(shù)

通常，針對(duì)聚焦于患者的特定身體部分的特定醫(yī)療過程獲取醫(yī)學(xué)圖像。所獲取的這種醫(yī)學(xué)圖像具有描繪觀察區(qū)域（諸如患者的特定身體部分）的初始視場(chǎng)。初始視場(chǎng)表示醫(yī)學(xué)圖像的觀察區(qū)域的外周界內(nèi)的區(qū)域。但是，這種醫(yī)學(xué)圖像的初始視場(chǎng)通常在范圍上受到限制。

用于擴(kuò)充圖像的常規(guī)方案通常聚焦于圖像完備化（即，圖像修復(fù)），其中重構(gòu)圖像的初始視場(chǎng)內(nèi)的一個(gè)或多個(gè)缺失部分。這種用于圖像完備化的常規(guī)方案限于針對(duì)初始視場(chǎng)內(nèi)的缺失部分生成成像數(shù)據(jù)，在初始視場(chǎng)中，缺失部分在所有側(cè)均被先驗(yàn)成像數(shù)據(jù)包圍。

發(fā)明內(nèi)容

根據(jù)一個(gè)或多個(gè)實(shí)施例，提供了用于生成具有擴(kuò)展視場(chǎng)的擴(kuò)充醫(yī)學(xué)成像的系統(tǒng)和方法，該擴(kuò)展視場(chǎng)包括初始醫(yī)學(xué)圖像的初始視場(chǎng)和所述初始視場(chǎng)之外的擴(kuò)充區(qū)域。提供這種擴(kuò)展視場(chǎng)在許多使用情況中是有益的。例如，擴(kuò)展視場(chǎng)將為臨床醫(yī)生提供有關(guān)初始醫(yī)學(xué)圖像中描繪的解剖結(jié)構(gòu)的附加情境。在另一個(gè)示例中，擴(kuò)展視場(chǎng)將改善醫(yī)學(xué)成像分析算法（諸如例如，界標(biāo)檢測(cè)器和圖像配準(zhǔn)算法）的性能，所述醫(yī)學(xué)成像分析算法被設(shè)計(jì)用于具有較大視場(chǎng)的圖像。沒有已知的常規(guī)方法用于提供描繪初始視場(chǎng)之外的擴(kuò)充區(qū)域的擴(kuò)展視場(chǎng)。

根據(jù)一個(gè)或多個(gè)實(shí)施例，提供了用于增強(qiáng)醫(yī)學(xué)圖像的系統(tǒng)和方法。接收具有初始視場(chǎng)的初始醫(yī)學(xué)圖像。使用經(jīng)訓(xùn)練的機(jī)器學(xué)習(xí)模型生成具有擴(kuò)展視場(chǎng)的擴(kuò)充醫(yī)學(xué)圖像。擴(kuò)展視場(chǎng)包括初始視場(chǎng)和擴(kuò)充區(qū)域。輸出擴(kuò)充醫(yī)學(xué)圖像。

擴(kuò)充醫(yī)學(xué)圖像的擴(kuò)充區(qū)域可以包括直接包圍初始醫(yī)學(xué)圖像的初始視場(chǎng)的區(qū)域。擴(kuò)充醫(yī)學(xué)圖像可以是與初始醫(yī)學(xué)圖像的模態(tài)不同的模態(tài)。在一個(gè)實(shí)施例中，基于先前的初始醫(yī)學(xué)圖像和先前的擴(kuò)充醫(yī)學(xué)圖像來生成所述擴(kuò)充醫(yī)學(xué)圖像。

經(jīng)訓(xùn)練的機(jī)器學(xué)習(xí)模型可以是經(jīng)訓(xùn)練的生成式對(duì)抗網(wǎng)絡(luò)。經(jīng)訓(xùn)練的生成式對(duì)抗網(wǎng)絡(luò)可以基于U-Net、情境編碼器和變分自動(dòng)編碼器中的至少一個(gè)。在一個(gè)實(shí)施例中，可以使用另一經(jīng)訓(xùn)練的機(jī)器學(xué)習(xí)模型來精煉所述擴(kuò)充醫(yī)學(xué)圖像。

在一個(gè)實(shí)施例中，初始視場(chǎng)可以是X射線圖像的高質(zhì)量區(qū)域，并且擴(kuò)展視場(chǎng)包括所述高質(zhì)量區(qū)域和擴(kuò)充區(qū)域。在另一個(gè)實(shí)施例中，初始醫(yī)學(xué)圖像包括解剖模型。

通過參考以下詳細(xì)描述和附圖，本發(fā)明的這些和其他優(yōu)點(diǎn)對(duì)于本領(lǐng)域普通技術(shù)人員將是顯而易見的。

附圖說明

圖1示出了患者的示例性醫(yī)學(xué)圖像；

圖2示出了根據(jù)一個(gè)或多個(gè)實(shí)施例的用于增強(qiáng)醫(yī)學(xué)圖像的說明性高級(jí)工作流；

圖3示出了根據(jù)一個(gè)或多個(gè)實(shí)施例的用于實(shí)現(xiàn)圖2中所示的工作流的方法；

圖4示出了根據(jù)一個(gè)或多個(gè)實(shí)施例的用于使用來自先前時(shí)間點(diǎn)的信息來增強(qiáng)醫(yī)學(xué)圖像的高級(jí)工作流；

圖5示出了根據(jù)一個(gè)或多個(gè)實(shí)施例的用于訓(xùn)練生成式對(duì)抗網(wǎng)絡(luò)（GAN）以生成擴(kuò)充醫(yī)學(xué)圖像的功能框圖；

圖6示出了根據(jù)一個(gè)或多個(gè)實(shí)施例的用于訓(xùn)練CycleGAN以生成擴(kuò)充醫(yī)學(xué)圖像的功能框圖；

圖7示出了根據(jù)一個(gè)或多個(gè)實(shí)施例的用于訓(xùn)練Pix2Pix-GAN的網(wǎng)絡(luò)架構(gòu)；

圖8示出了通過應(yīng)用Pix2Pix-GAN而產(chǎn)生的圖像與基礎(chǔ)事實(shí)圖像的比較，所述Pix2Pix-GAN利用根據(jù)本發(fā)明的實(shí)施例應(yīng)用的情境編碼器來實(shí)現(xiàn)；