[發明專利]一種基于監督深度網絡學習的圖像重定向方法

在審

• 申請號: 202010799181.4
• 申請日: 2020-08-11
• 公開（公告）號: CN111915489A
• 公開（公告）日: 2020-11-10
• 發明（設計）人: 梅怡靜;潘剛;孫迪
• 申請（專利權）人: 天津大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/08;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明涉及一種基于監督深度網絡學習的圖像重定向方法，包括：選擇并確定原始輸入圖像，然后執行重定向操作，再為重定向后的圖像評估分數，求分數集中各組最高評分對應的圖像，形成最后的新數據集，并對其進行訓練集和測試集的劃分；構建基于U?Net的生成對抗網絡模型；設計損失函數，用以衡量生成的重定向圖像和ground truth集中對應圖像之間的差異；分批次地使用新創建數據對構建的網絡模型進行訓練，并通過誤差反向傳播算法對模型進行不斷的優化；使用訓練過程中保存的模型，對新創建的測試集中的圖像進行測試。

技術領域

本發明涉及到的技術領域包括計算機視覺、計算機圖像處理和深度學習等，其中本發明更側重于基于監督深度網絡學習的圖像重定向研究。

背景技術

圖像重定向旨在調整圖像的大小使其能夠最佳地適應目標顯示設備。在過去的十年中，重定向問題得到了廣泛的研究，許多內容感知方法也被提出。然而這些方法只能使用低級語義特征，并在圖像空間中執行重定向操作。因此，這些圖像重定向方法通常會導致結構失真和人工偽影。

最近，一些基于深度學習的方法在圖像重定向方面表現出了更高的性能，因為它們可以捕獲并利用圖像中的高級語義特征。但是，由于缺乏用于在特征空間中精確訓練深度模型的圖像重定向數據集，所以目前并沒有將監督技術應用于圖像重定向的研究工作。此外，由于目前的深度學習方法嚴重依賴于計算得出的重要性圖，所以一旦重要性圖的計算失敗，通常導致重定向結果的質量差，這極大地限制了這些方法的通用性。而且它們與傳統方法類似，大多都是在圖像空間執行的重定向，幾乎無法避免在結果圖像中出現過度的扭曲。盡管Shocher等人[1]提出了一種完全無監督的針對單張圖像的生成對抗網絡(generative adversarial network，GAN)，但它與我們的工作有著本質的區別。它只是將原始圖像中的一部分作為ground truth，且只考慮了單個圖像的內部紋理，因此沒有通用性，也沒有考慮自然圖像中的語義信息。

此外，特定的單一重定向方法可能無法對所有圖像都表現良好。Rubinstein等人[2]和Song等人[3]是直接從原有重定向方法的排列順序著手，期望求得不同方法的最佳組合，然后在圖像空間中執行重定向操作。但是，用于重定向的不同方法的執行單元并不完全相同，因此不太可能將執行單元不同的重定向方法結合在一起，這導致它的結果也始終無法實現在更廣泛的圖像上表現較好。

參考文獻

[1]Shocher A，Bagon S，Isola P，et al.InGAN：Capturing and Remapping the″DNA″of a Natural Image[J].2018.

[2]Michael Rubinstein，Ariel Shamir，Shai Avidan.Multi-operator mediaretargeting[C].Acm Siggraph.ACM，2009.

[3]Song Y，Tang F，Dong W，et al.Photo Squarization by Deep Multi-Operator Retargeting[C].ACM Multimedia Conference.ACM，2018.

[4]Liang Y，Liu Y J，Gutierrez D.Objective Quality Prediction of ImageRetargeting Algorithms[J].IEEE Transactions on VisualizationComputerGraphics，2016，23(2)：1099-1110.

發明內容