[發明專利]一種基于深度顏色遷移的醫學圖像著色方法

在審

• 申請號: 201910560562.4
• 申請日: 2019-06-26
• 公開（公告）號: CN110458906A
• 公開（公告）日: 2019-11-15
• 發明（設計）人: 曾憲華;童世玥
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06T11/40;G06T7/90;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 50102 重慶市恒信知識產權代理有限公司
• 代理人: 劉小紅;陳棟梁<國際申請>=<國際公布>

1.一種基于深度顏色遷移的醫學圖像著色方法，其特征在于，包括以下步驟：

1)、獲取原始醫學圖像，并將原始醫學圖像縮小成一張固定大小的圖像作為輸入到神經網絡中的目標圖像，并初始化一張初始圖像用作網絡迭代更新的對象，通過K均值聚類算法得到參考圖像和目標圖像的分割圖像用作后續構建顏色損失函數，通過人為手動選擇一張彩色的圖像作為參考圖像，原始圖像為需要著色的灰度醫學圖像；目標圖像與原始圖像內容一致但大小不一；參考圖像為更新初始圖像提供顏色參考；經過網絡更新初始圖像最終得到輸出圖像與目標圖像的紋理結構保持一致；

2)、將初始圖像、參考圖像和目標圖像輸入到深度神經網絡中，通過深度神經網絡其中的六層卷積層分別提取目標圖像、參考圖像和初始圖像的深度特征；

3)、利用提取的深度特征構建總損失項，總損失項通過利用內容損失和紋理細節損失來約束圖像內容紋理，和利用空間關系損失和顏色損失來約束圖像顏色，總損失包括內容損失、顏色損失、空間關系損失及紋理細節損失；

4)、通過損失函數的梯度公式，根據誤差反向傳播算法求得總損失關于初始圖像的梯度，然后通過基于梯度的優化方法對深度神經網絡進行優化，迭代更新初始圖像；

5)、對最終輸出的初始圖像進行圖像放大到與原始醫學圖像大小，并轉換到YUV顏色空間，將原始醫學圖像也轉換到YUV顏色空間；

6)、提取原始醫學圖像Y通道的值，以及輸出的初始圖像的UV通道的值，結合Y通道和UV通道的值得到一張彩色的醫學圖像，并轉換到RGB顏色空間。

2.根據權利要求1所述的一種基于深度顏色遷移的醫學圖像著色方法，其特征在于，所述步驟1)將目標圖像和參考圖像統一處理成分辨率為224*224的圖像，并且通過K均值聚類算法得到參考圖像和目標圖像的分割圖像。

3.根據權利要求1所述的一種基于深度顏色遷移的醫學圖像著色方法，其特征在于，所述深度神經網絡的六層卷積層分別是第1層卷積層、第3層卷積層、第5層卷積層、第9層卷積層、第10層卷積層、第13層卷積層。

4.根據權利要求1所述的一種基于深度顏色遷移的醫學圖像著色方法，其特征在于，所述步驟3)的內容損失是通過使用目標圖像I和初始圖像O的第10層卷積層提取的深度特征構造的，具體公式為：其中L_c表示內容損失函數，F_l[O]初始圖像O在第l層的特征矩陣，F_l[I]圖像I在第l層的特征矩陣，N_l代表第l層濾波器的個數，D_l代表特征圖的大小；i,j表示特征矩陣中的索引。

5.根據權利要求1所述的一種基于深度顏色遷移的醫學圖像著色方法，其特征在于，所述步驟3)的顏色損失是通過提取參考圖像S和初始圖像I在深度神經網絡上第1層卷積層、第3層卷積層、第5層卷積層、第9層卷積層和第13層卷積層的上的特征圖進行構建，具體的公式如下：

F_l,c[O]＝F^l[O]M_l,c[I]

F_l,c[S]＝F^l[S]M_l,c[S]

其中，表示第l層卷積層的顏色損失，N_l表示第l層卷積層的濾波器個數，C表示語義分割掩碼的通道數，c表示第c通道的語義分割掩碼。G_l,c[O]，G_l,c[S]分別表示圖像O和S在第l層卷積層的特征圖經過第c通道的語義分割掩碼處理后計算出來的gram矩陣，表示第l卷積層得到的特征矩陣，D_l表示特征圖的大小，F_l,c[O]、F_l,c[S]分別表示圖像O和S在第l層卷積層提取的特征圖在被第c通道的語義分割掩碼處理后的特征矩陣，M_l,c[I]、M_l,c[S]分別圖像I和S第l層的第c通道的分割掩碼，通過下采樣分割編碼來適應每一層特征矩陣的大小，Gram矩陣是矢量特征矩陣的內積。