[發明專利]一種基于GNN的文物圖像復原方法

在審

• 申請號: 201711189780.9
• 申請日: 2017-11-24
• 公開（公告）號: CN107862668A
• 公開（公告）日: 2018-03-30
• 發明（設計）人: 儲榮
• 申請（專利權）人: 河海大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T7/10;G06T3/40
• 代理公司: 南京蘇高專利商標事務所(普通合伙)32204
• 代理人: 李玉平

技術領域

本發明屬于計算機視覺和模式識別領域，涉及模式識別、數字圖像處理、人工智能、計算機科學等多門學科，具體涉及一種基于GNN網絡的文物圖像復原方法。

背景技術

壁畫等文物具有豐富的藝術價值和歷史意義，運用深度學習遷移圖像風格能夠節省很多人力、物力去設計、構想被破壞的文物。本文以遷移圖像風格，給褪色或輕微殘缺的文物上色或自動構造其殘缺的形態部分，能夠給文物工作者減輕構想、設計方面極大的工作量。

發明內容

發明目的：針對現有技術中存在的問題，本發明提供一種基于GNN網絡的文物圖像復原方法。

技術方案：為解決上述技術問題，本發明的一種基于GNN網絡的文物圖像復原方法采用如下技術方案：

一種GNN網絡的文物圖像復原方法，包括以下步驟：

a、采集文物圖像；

b、預處理步驟a中采集到的圖像，對訓練圖像進行大小歸一化處理，把較大像素的圖像分割或者提取重要的部分，得到若干個訓練樣本，將其處理為256*256像素；

c、基于深度卷積網絡構造GNN網絡；

d、對GNN網絡進行訓練；

e、根據訓練好的GNN網絡復原受損的文物的圖像；

f、如果在步驟b中把圖像分割成較小的部分，需要將它們拼接起來；

更進一步的，步驟b中所述預處理包括圖像的像素縮放，圖像類型轉換。

更進一步的，步驟b中所述文物圖像像素過大時，裁剪需要處理的圖像部分，分別處理，再組合成整張圖像，或者挑取其中重點需要的某個部分。

更進一步的，已有的圖像遷移研究成果經常為配對式的，物體轉換跨度不大，比如不能把單色圖像變成不同風格的彩色圖像，步驟c采用了如下步驟實現了跨度較大的風格遷移，但是這個跨度又在可控的范圍之內：

(1)將原GNN網絡的輸入噪聲用一幅圖像代替，使原始圖像風格向著有較大可控方向上的遷移；

(2)采用一個自編碼器對原圖進行處理，輸出新特征的圖像，新特征圖像與原圖相比基本特征不變，而風格有所改變；

(3)把新特征的圖像通過與(2)結構相同的自編碼器進行操作得到新圖像；

(4)把(1)的原始圖像與(3)中得到的新圖像進行相似度比較，得到一個改造的損失函數，使得共享特征后圖像的變化范圍在一個可控的區域內；

更進一步的，步驟c為了使得到的網絡較為穩定，朝某種角度變化或色調遷移不會失真，采用兩條路徑雙向操作，使用了以下步驟：

(1)將第一類圖像作為判別器的真實輸入，第二類圖像經過一次自編碼器后的圖像作為判別器的虛假的輸入，比例為1：1；

(2)將第二類圖像作為判別器的真實輸入，第一類圖像經過一次自編碼器后的圖像作為判別器的虛假的輸入，比例為1：1；

其中，第一類圖像是原始圖像，第二類圖像是希望復原成某種風格的目標圖像。

(3)把(1)和(2)兩個步驟得到的判別器的損失函數相加得到總的損失函數；

(4)GNN網絡的損失函數為非結構化的原圖與經過兩次自編碼器后生成的圖像的相似度的損失函數和生成器損失函數之和；

(5)最優化損失函數的和，使得生成圖像比較穩定；

更進一步的，步驟c把判別網絡(比如)的損失函數最大化右部分式子變成最小化看它的變化曲線能夠滿足梯度下降時，梯度變化由快到慢，結果可能會較為精確；

更進一步的，步驟c中不用k次迭代調整判別網絡后再調整一次GNN網絡，可以同時訓練生成器和判別器；

更進一步的，步驟f中如果拼接的圖像之間紋路不能很好的吻合，采用不同的分割方式，再運行一次算法，將間隙拼接起來。

有益效果：本發明的一種基于GNN網絡的文物圖像復原方法，能夠很好的給文物著色，修復輕微殘缺的部分。相比已有的方法，人為的學習當時的風俗環境，查閱各種資料，減輕了繁瑣的工作量，能夠自動化的完成這些工作，并且更為精準。

附圖說明

圖1為本發明基于GNN網絡的文物圖像復原方法流程圖。

具體實施方式

下面結合具體實施例，進一步闡明本發明，應理解這些實施例僅用于說明本發明而不用于限制本發明的范圍，在閱讀了本發明之后，本領域技術人員對本發明的各種等價形式的修改均落于本申請所附權利要求所限定的范圍。

一種基于GNN網絡的文物圖像復原方法，把掉色、輕微殘缺的壁畫文物的照片風格遷移成較為完整的彩色圖像，用以較佳的實施及附圖配合詳細說明，說明如下：