[發(fā)明專利]圖像生成模型訓(xùn)練及圖像生成方法、裝置、設(shè)備和介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202111180703.3
• 申請(qǐng)日: 2021-10-11
• 公開（公告）號(hào): CN115965567A
• 公開（公告）日: 2023-04-14
• 發(fā)明（設(shè)計(jì)）人: 鄒莉嫻;劉新;梁棟;鄭海榮
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00;G06T7/30;G06V10/25;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 潘登

本發(fā)明實(shí)施例公開了一種圖像生成模型訓(xùn)練及圖像生成方法、裝置、設(shè)備和介質(zhì)，其中，方法包括：獲取感興趣部位的不同模態(tài)圖像，并基于所述不同模態(tài)圖像組成至少一組圖像對(duì)；針對(duì)每一組圖像對(duì)，將圖像對(duì)中的第一模態(tài)圖像輸入到預(yù)設(shè)圖像生成模型中，并以圖像對(duì)中的第二模態(tài)圖像作為學(xué)習(xí)標(biāo)準(zhǔn)，對(duì)所述預(yù)設(shè)圖像生成模型進(jìn)行有監(jiān)督的模型訓(xùn)練；當(dāng)所述預(yù)設(shè)圖像生成模型的損失函數(shù)滿足預(yù)設(shè)條件時(shí)，得到目標(biāo)圖像生成模型，完成模型訓(xùn)練過(guò)程。解決了為獲取感興趣區(qū)域全面的信息，掃描獲取不同模態(tài)的圖像，耗時(shí)且成本高的問(wèn)題，實(shí)現(xiàn)了基于一種模態(tài)的圖像生成其他模態(tài)圖像，提高獲取多個(gè)模態(tài)圖像的效率，節(jié)約獲取多模態(tài)圖像的時(shí)間成本。

技術(shù)領(lǐng)域

本發(fā)明實(shí)施例涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種圖像生成模型訓(xùn)練及圖像生成方法、裝置、設(shè)備和介質(zhì)。

背景技術(shù)

隨著醫(yī)學(xué)工程和計(jì)算機(jī)技術(shù)的發(fā)展,醫(yī)學(xué)影像學(xué)為臨床診斷提供了多種模態(tài)的醫(yī)學(xué)圖像，包括超聲圖像、磁共振圖像、電子計(jì)算機(jī)斷層掃描圖像、正電子發(fā)射斷層掃描圖像等多種模態(tài)圖像。不同模態(tài)的醫(yī)學(xué)影像在時(shí)空分辨率方面各有優(yōu)缺點(diǎn)，可以提供人體相關(guān)臟器和組織的不同信息。在臨床中若是能夠同時(shí)獲取到感興趣部位的多個(gè)模態(tài)圖像，并對(duì)不同模態(tài)圖像的信息進(jìn)行集成，十分有利于醫(yī)生對(duì)患者病情的診斷。

然而，不同模態(tài)的醫(yī)學(xué)圖像成像原理不同，分辨率不同，成像參數(shù)也不同。若分別掃描不同模態(tài)的圖像，非常耗時(shí)，特別在時(shí)間有限的情況下，不利于實(shí)時(shí)觀察診斷，而且不同模態(tài)的信息存在冗余性。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供了圖像生成模型訓(xùn)練及圖像生成方法、裝置、設(shè)備和介質(zhì)，以實(shí)現(xiàn)基于一種模態(tài)的圖像生成其他模態(tài)圖像，提高獲取多個(gè)模態(tài)圖像的效率，節(jié)約獲取多模態(tài)圖像的時(shí)間成本。

第一方面，本發(fā)明實(shí)施例提供了一種圖像生成模型訓(xùn)練方法，該方法包括：

獲取感興趣部位的不同模態(tài)圖像，并基于所述不同模態(tài)圖像組成至少一組圖像對(duì)；

針對(duì)每一組圖像對(duì)，將圖像對(duì)中的第一模態(tài)圖像輸入到預(yù)設(shè)圖像生成模型中，并以圖像對(duì)中的第二模態(tài)圖像作為學(xué)習(xí)標(biāo)準(zhǔn)，對(duì)所述預(yù)設(shè)圖像生成模型進(jìn)行有監(jiān)督的模型訓(xùn)練；

當(dāng)所述預(yù)設(shè)圖像生成模型的損失函數(shù)滿足預(yù)設(shè)條件時(shí)，得到目標(biāo)圖像生成模型，完成模型訓(xùn)練過(guò)程。

第二方面，本發(fā)明實(shí)施例提供了一種圖像生成方法，該方法包括：

獲取原始模態(tài)圖像，并確定所述原始模態(tài)圖像的目標(biāo)轉(zhuǎn)換模態(tài)；

將所述原始模態(tài)圖像輸入至由任一實(shí)施例所述的圖像生成模型訓(xùn)練方法訓(xùn)練得到的目標(biāo)圖像生成模型，得到目標(biāo)轉(zhuǎn)換模態(tài)圖像。

第三方面，本發(fā)明實(shí)施例還提供了一種圖像生成模型訓(xùn)練裝置，該裝置包括：

樣本獲取模塊，用于獲取感興趣部位的不同模態(tài)圖像，并基于所述不同模態(tài)圖像組成至少一組圖像對(duì)；

樣本數(shù)據(jù)輸入模塊，用于針對(duì)每一組圖像對(duì)，將圖像對(duì)中的第一模態(tài)圖像輸入到預(yù)設(shè)圖像生成模型中，并以圖像對(duì)中的第二模態(tài)圖像作為學(xué)習(xí)標(biāo)準(zhǔn)，對(duì)所述預(yù)設(shè)圖像生成模型進(jìn)行有監(jiān)督的模型訓(xùn)練；

模型訓(xùn)練模塊，用于當(dāng)所述預(yù)設(shè)圖像生成模型的損失函數(shù)滿足預(yù)設(shè)條件時(shí)，得到目標(biāo)圖像生成模型，完成模型訓(xùn)練過(guò)程。

第四方面，本發(fā)明實(shí)施例還提供了一種圖像生成裝置，該裝置包括：

圖像數(shù)據(jù)獲取模塊，用于獲取原始模態(tài)圖像，并確定所述原始模態(tài)圖像的目標(biāo)轉(zhuǎn)換模態(tài)；

圖像生成模塊，用于將所述原始模態(tài)圖像輸入至由任一實(shí)施例所述的圖像生成模型訓(xùn)練方法訓(xùn)練得到的目標(biāo)圖像生成模型，得到目標(biāo)轉(zhuǎn)換模態(tài)圖像。

第五方面，本發(fā)明實(shí)施例還提供了一種計(jì)算機(jī)設(shè)備，所述計(jì)算機(jī)設(shè)備包括：

一個(gè)或多個(gè)處理器；