[發明專利]基于動態記憶模塊和生成對抗網絡的動漫草圖上色方法有效
| 申請號： | 202110056463.X | 申請日： | 2021-01-15 |
| 公開（公告）號： | CN112767507B | 公開（公告）日： | 2022-11-18 |
| 發明（設計）人： | 劉秀平;于冰冰;譚紅臣;卞瑜昊 | 申請（專利權）人： | 大連理工大學 |
| 主分類號： | G06T11/00 | 分類號： | G06T11/00;G06T11/40;G06V10/774;G06V10/82;G06N3/04;G06N3/08 |
| 代理公司： | 大連理工大學專利中心 21200 | 代理人： | 溫福雪;侯明遠 |
| 地址： | 116024 遼*** | 國省代碼： | 遼寧;21 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 基于 動態 記憶 模塊 生成 對抗 網絡 動漫 草圖 上色 方法 | ||
1.一種基于動態記憶模塊和生成對抗網絡的動漫草圖上色方法，其特征在于，該方法包括以下步驟：
步驟S1：獲取訓練數據集，包括彩色動漫圖片、相應的圖片標簽和草圖；
步驟S2：構建草圖上色網絡模型生成器的編碼器部分，將草圖和對應的圖片標簽輸入到生成器中，獲取圖像特征和文本特征；并將圖像特征和文本特征拼接，得到更新的圖像特征；
所述的草圖上色網絡模型包含一個生成器和一個判別器，所述的生成器包含一個圖像編碼器、兩個文本編碼器、一個主解碼器和一個輔助解碼器；
步驟S3：將更新的圖像特征輸入到輔助解碼器中，生成一張上色圖像，防止神經網絡的梯度消失；
步驟S4：構建動態記憶模塊，動態地從圖片標簽的文本中選擇對上色最重要的部分，并利用門控機制動態地組合文本和圖像信息；
步驟S5：構建多個動態記憶模塊，作為主解碼器進行處理，直到圖像特征大小與原本圖片的大小相同；
步驟S6：在主解碼器中添加一個3*3卷積、一個LeakyRelu激活層、一個3*3卷積和一個Tanh激活層，生成上色圖片；
步驟S7：將步驟S6中生成的上色圖片和真實彩色圖片輸入到判別器中，令判別器去判別圖像的真假以及輸入的圖像文本標簽，交替訓練生成器和判別器，相應的最小化生成器和判別器各自的損失函數。
2.根據權利要求1所述的一種基于動態記憶模塊和生成對抗網絡的動漫草圖上色方法，其特征在于，所述的步驟S2具體為：
步驟S21：將草圖輸入到圖像編碼器中，獲得相應的圖像特征其中，N＝H×Q表示圖像特征中的像素個數，H和Q分別為圖像特征的長和寬；表示第i個像素特征，表示圖像像素特征的維度；
將圖片標簽轉換為one-hot向量，并分別輸入到兩個文本編碼器中，兩個文本編碼器分別輸出一個與圖像特征的長寬相同的文本特征和另一個文本特征W＝w1，w2，…，wT，其中和wj分別表示W1中的第i個單詞特征、W中的第j個單詞特征；T表示單詞個數，Nw1和Nw分別表示W1和W中單詞特征的維度；
步驟S22：將圖像特征和文本特征W1沿特征維度拼接：
得到更新的圖像特征R＝r1，r2，…，rN，其中
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于大連理工大學，未經大連理工大學許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202110056463.X/1.html，轉載請聲明來源鉆瓜專利網。
- 上一篇：一種六鋁酸鈣/鈦酸鋁多孔陶瓷及其制備方法
- 下一篇：育雛育成兩用飼養籠
