[發(fā)明專利]一種基于深度顏色遷移的醫(yī)學(xué)圖像著色方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201910560562.4
• 申請(qǐng)日: 2019-06-26
• 公開（公告）號(hào): CN110458906A
• 公開（公告）日: 2019-11-15
• 發(fā)明（設(shè)計(jì)）人: 曾憲華;童世玥
• 申請(qǐng)（專利權(quán)）人: 重慶郵電大學(xué)
• 主分類號(hào): G06T11/00
• 分類號(hào): G06T11/00;G06T11/40;G06T7/90;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 50102 重慶市恒信知識(shí)產(chǎn)權(quán)代理有限公司
• 代理人: 劉小紅;陳棟梁<國際申請(qǐng)>=<國際公布>

本發(fā)明請(qǐng)求保護(hù)一種基于深度顏色遷移的醫(yī)學(xué)圖像著色方法，包括：隨機(jī)初始化一張初始圖像，利用深度神經(jīng)網(wǎng)絡(luò)結(jié)合顏色遷移思想對(duì)醫(yī)學(xué)圖像進(jìn)行著色：通過深度神經(jīng)網(wǎng)絡(luò)提取醫(yī)學(xué)圖像、參考圖像和初始圖像的深度特征，然后構(gòu)造內(nèi)容損失、顏色損失、空間關(guān)系損失、紋理細(xì)節(jié)損失，計(jì)算總損失關(guān)于初始圖像像素的梯度，利用此梯度迭代更新初始圖像直到它同時(shí)匹配參考圖像的顏色和目標(biāo)圖像的紋理結(jié)構(gòu)。然后利用初始圖像和原始醫(yī)學(xué)圖像在YUV空間中顏色信息和亮度信息重新構(gòu)成彩色的醫(yī)學(xué)圖像。本發(fā)明能夠生成具有顏色信息的醫(yī)學(xué)圖像，其具有原始醫(yī)學(xué)圖像的紋理結(jié)構(gòu)，并保持原有的診斷意義。

技術(shù)領(lǐng)域

本發(fā)明屬于醫(yī)學(xué)圖像處理技術(shù)領(lǐng)域，屬于醫(yī)學(xué)圖像色彩化以及深度學(xué)習(xí)和顏色遷移方法。

背景技術(shù)

在醫(yī)療領(lǐng)域，隨著醫(yī)學(xué)影像學(xué)設(shè)備的普及，帶來了很多成像技術(shù)，比如計(jì)算機(jī)斷層掃描(CT)，核磁共振成像(MRI)，超聲波成像(UI)等，醫(yī)學(xué)影像所提供的人體組織信息被用于醫(yī)學(xué)診斷和研究中。由于成像技術(shù)原因，大部分醫(yī)學(xué)圖像都是灰度圖像，很少部分是彩色成像；針對(duì)成像價(jià)格來說，消費(fèi)者獲得灰色成像的消費(fèi)遠(yuǎn)低于彩色成像，因此目前使用的大部分成像結(jié)果都是灰度圖像。顏色遷移目前是處理自然圖像常用的方法，并且在自然圖像上具有很好的效果。通過人為的選擇一張合適的彩色圖像作為參考，將該彩色圖像上的顏色遷移到目標(biāo)圖像上，讓目標(biāo)圖像具有與彩色圖像相似的顏色風(fēng)格。對(duì)于醫(yī)學(xué)圖像進(jìn)行著色能讓醫(yī)學(xué)圖像更加直觀清晰，對(duì)于開展疾病診斷、手術(shù)制訂等醫(yī)學(xué)診斷和研究中起到重要的作用。目前存在著以下的問題：1.目前的醫(yī)學(xué)圖像著色大部分是基于統(tǒng)計(jì)學(xué)的方法，對(duì)于使用深度顏色遷移來對(duì)醫(yī)學(xué)圖像著色還沒有一個(gè)完整的結(jié)構(gòu)方法；2.如何保證圖像著色前后的內(nèi)容結(jié)構(gòu)保持不變，著色后的醫(yī)學(xué)圖像依然具有診斷意義。

基于上述這些問題，利用深度神經(jīng)網(wǎng)絡(luò)結(jié)合顏色遷移思想對(duì)醫(yī)學(xué)圖像進(jìn)行著色：通過深度神經(jīng)網(wǎng)絡(luò)提取醫(yī)學(xué)圖像、參考圖像和初始圖像的深度特征，然后構(gòu)造內(nèi)容損失、顏色損失、空間關(guān)系損失、紋理細(xì)節(jié)損失，計(jì)算總損失關(guān)于初始圖像像素的梯度，利用此梯度迭代更新初始圖像直到它同時(shí)匹配參考圖像的顏色和目標(biāo)圖像的紋理結(jié)構(gòu)。然后利用初始圖像和原始醫(yī)學(xué)圖像在YUV空間中顏色信息和亮度信息重新構(gòu)成彩色的醫(yī)學(xué)圖像。

發(fā)明內(nèi)容

本發(fā)明旨在解決以上現(xiàn)有技術(shù)的問題。提出了一種基于深度顏色遷移的醫(yī)學(xué)圖像著色方法。本發(fā)明的技術(shù)方案如下：

一種基于深度顏色遷移的醫(yī)學(xué)圖像著色方法，其包括以下步驟：

1)、獲取原始醫(yī)學(xué)圖像，并將原始醫(yī)學(xué)圖像縮小成一張固定大小的圖像作為輸入到神經(jīng)網(wǎng)絡(luò)中的目標(biāo)圖像，并初始化一張初始圖像用作網(wǎng)絡(luò)迭代更新的對(duì)象。通過K均值聚類算法得到參考圖像和目標(biāo)圖像的分割圖像用作后續(xù)構(gòu)建顏色損失函數(shù)。通過人為手動(dòng)選擇一張彩色的圖像作為參考圖像。在本發(fā)明中，原始圖像為需要著色的灰度醫(yī)學(xué)圖像；目標(biāo)圖像與原始圖像內(nèi)容一致但大小不一；參考圖像為更新初始圖像提供顏色參考；經(jīng)過網(wǎng)絡(luò)更新初始圖像最終得到輸出圖像與目標(biāo)圖像的紋理結(jié)構(gòu)保持一致；

2)、將初始圖像、參考圖像和目標(biāo)圖像輸入到深度神經(jīng)網(wǎng)絡(luò)中，通過深度神經(jīng)網(wǎng)絡(luò)其中的六層卷積層分別提取目標(biāo)圖像、參考圖像和初始圖像的深度特征；

3)、利用提取的深度特征構(gòu)建總損失項(xiàng)，總損失項(xiàng)通過利用內(nèi)容損失和紋理細(xì)節(jié)損失來約束圖像內(nèi)容紋理，和利用空間關(guān)系損失和顏色損失來約束圖像顏色。所以總損失包括內(nèi)容損失、顏色損失、空間關(guān)系損失及紋理細(xì)節(jié)損失；

4)、通過損失函數(shù)的梯度公式，根據(jù)誤差反向傳播算法求得總損失關(guān)于初始圖像的梯度，然后通過基于梯度的優(yōu)化方法對(duì)深度神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化，迭代更新初始圖像；

5)、對(duì)最終輸出的初始圖像進(jìn)行圖像放大到與原始醫(yī)學(xué)圖像大小，并轉(zhuǎn)換到Y(jié)UV顏色空間，將原始醫(yī)學(xué)圖像也轉(zhuǎn)換到Y(jié)UV顏色空間；

6)、提取原始醫(yī)學(xué)圖像Y通道的值，以及輸出的初始圖像的UV通道的值，結(jié)合Y通道和UV通道的值得到一張彩色的醫(yī)學(xué)圖像，并轉(zhuǎn)換到RGB顏色空間。