[發(fā)明專利]一種古代繪畫虛擬修復(fù)方法及修復(fù)模型的構(gòu)建方法在審
| 申請?zhí)枺?/td> | 202110270413.1 | 申請日： | 2021-03-12 |
| 公開（公告）號： | CN113034388A | 公開（公告）日： | 2021-06-25 |
| 發(fā)明（設(shè)計）人： | 彭進(jìn)業(yè);趙華宇;彭先霖;章勇勤;李展;王珺;樂明楠;張群喜;楊蕊;梁海達(dá) | 申請（專利權(quán)）人： | 西北大學(xué) |
| 主分類號： | G06T5/00 | 分類號： | G06T5/00;G06N3/04;G06N3/08;G06K9/62 |
| 代理公司： | 西安恒泰知識產(chǎn)權(quán)代理事務(wù)所 61216 | 代理人： | 王孝明 |
| 地址： | 710069 *** | 國省代碼： | 陜西;61 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 一種 古代 繪畫 虛擬 修復(fù) 方法 模型 構(gòu)建 | ||
1.一種古代繪畫虛擬修復(fù)模型的構(gòu)建方法，其特征在于，該方法包括以下步驟：
步驟1，獲取公開的大型自然圖像數(shù)據(jù)集；采集多張古代繪畫，獲得古代繪畫數(shù)據(jù)集；
步驟2，對代表黑白顏色的二進(jìn)制數(shù)字0和1進(jìn)行隨機(jī)掩膜生成處理，生成不規(guī)則掩膜數(shù)據(jù)集，用于模擬網(wǎng)絡(luò)模型訓(xùn)練時圖像輸入集中完整圖像的破損區(qū)域；
步驟3，預(yù)構(gòu)建古代繪畫虛擬修復(fù)網(wǎng)絡(luò)模型M0；
步驟4，以自然圖像輸入集作為圖像輸入集，以不規(guī)則掩膜數(shù)據(jù)集作為掩膜輸入集，以完全無監(jiān)督訓(xùn)練方式訓(xùn)練預(yù)構(gòu)建的古代繪畫虛擬修復(fù)網(wǎng)絡(luò)模型M0以最小化聯(lián)合損失，以獲得古代繪畫虛擬修復(fù)網(wǎng)絡(luò)的預(yù)訓(xùn)練模型M1；
步驟5，以古代繪畫輸入集作為圖像輸入集，以不規(guī)則掩膜數(shù)據(jù)集作為掩膜輸入集，對古代繪畫虛擬修復(fù)網(wǎng)絡(luò)的預(yù)訓(xùn)練模型M1以完全無監(jiān)督訓(xùn)練方式遷移學(xué)習(xí)訓(xùn)練古代繪畫數(shù)據(jù)集以最小化聯(lián)合損失，獲得訓(xùn)練好的古代繪畫虛擬修復(fù)網(wǎng)絡(luò)模型M2。
2.如權(quán)利要求1所述的古代繪畫虛擬修復(fù)模型的構(gòu)建方法，其特征在于，所述的古代繪畫數(shù)據(jù)集分為古代繪畫訓(xùn)練集、古代繪畫測試集、古代繪畫驗證集；所述的古代繪畫訓(xùn)練集作為預(yù)訓(xùn)練后的網(wǎng)絡(luò)模型遷移學(xué)習(xí)訓(xùn)練時的圖像輸入集。
3.如權(quán)利要求1所述的古代繪畫虛擬修復(fù)模型的構(gòu)建方法，其特征在于，步驟2還包括以下步驟：
步驟2.1，用二進(jìn)制隨機(jī)掩膜生成方法生成不規(guī)則掩膜數(shù)據(jù)集，包括掩膜數(shù)據(jù)訓(xùn)練集、掩膜數(shù)據(jù)原始測試集、掩膜數(shù)據(jù)驗證集；
步驟2.2，將掩膜數(shù)據(jù)原始測試集中的不規(guī)則掩膜隨機(jī)擴(kuò)展、旋轉(zhuǎn)和裁剪，生成4類具有不同孔圖像面積比的掩膜，這4類具有不同孔圖像面積比的掩膜分別是[0.01，0.1]，(0.1，0.2]，(0.2，0.3]，(0.3，0.4]；每個類別包含掩膜數(shù)相同。
4.如權(quán)利要求1所述的古代繪畫虛擬修復(fù)模型的構(gòu)建方法，其特征在于，步驟3中所述的預(yù)構(gòu)建的古代繪畫虛擬修復(fù)網(wǎng)絡(luò)模型M0以編碼器-解碼器網(wǎng)絡(luò)框架為基礎(chǔ)；
所述的編碼器以損壞的圖像作為輸入，以提取的損壞的繪畫圖像的圖像特征作為輸出，從輸入的損壞的繪畫圖像中獲取特征信息，并對提取的圖像特征信息進(jìn)行解析；所述的編碼器用E表示，包含i個下采樣層，i＝1,2,3,4,5,6,7；所述的下采樣層中包含雙域部分卷積層、批量歸一化層和空間自適應(yīng)激活單元層；
所述的解碼器以編碼器輸出的提取的損壞的繪畫圖像的圖像特征作為輸入，將編碼器解析的特征信息對應(yīng)成最終輸出的圖像形式，對縮小后的特征圖像進(jìn)行上采樣，對上采樣后的圖像進(jìn)行卷積處理，輸出修復(fù)的圖像；進(jìn)一步完善圖像，彌補編碼器中將圖像縮小造成的細(xì)節(jié)損失；所述的解碼器用D表示，包含k個上采樣層，k＝1,2,3,4,5,6,7；所述的上采樣層中包含最近鄰插值層、部分卷積層、批量歸一化層和泄露空間自適應(yīng)激活單元層；
所述的解碼器中Dk層和相應(yīng)的編碼器中E7-k層之間通過跳躍連接進(jìn)行連接。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于西北大學(xué)，未經(jīng)西北大學(xué)許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202110270413.1/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
