[發明專利]基于生成對抗模型的全自動摳圖方法及裝置、介質和設備

有效

• 申請號: 202110346470.3
• 申請日: 2021-03-31
• 公開（公告）號: CN113034517B
• 公開（公告）日: 2023-02-14
• 發明（設計）人: 周澤洋;韓國強
• 申請（專利權）人: 華南理工大學
• 主分類號: G06T7/11
• 分類號: G06T7/11
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 鄭浦娟

本發明公開了一種基于生成對抗模型的全自動摳圖方法及裝置、介質和設備，方法首先計算初始的待摳圖輸入圖片所對應的隱空間編碼，由生成對抗模型的生成器將隱空間編碼轉換成輸入圖片的替代圖片；然后將該替代圖片輸入至分割網絡中，得到三元分割圖和置信度，計算熵最小化損失來迭代優化隱空間編碼；將三元分割圖和替代圖片一起輸入到摳圖模塊，得到圖片的主體區域；輸入圖片、主體區域和任意一張背景圖片再合成新圖片，并輸入至生成對抗模型的判別器，根據熵最小化損失和對抗損失迭代優化隱空間編碼。優化后的隱空間編碼能更好地適應分割網絡和摳圖模塊，最終得到的主體區域即是摳圖結果。本發明優化了摳出的主體區域，可實現全自動摳圖。

技術領域

本發明涉及圖像摳圖技術領域，特別是一種基于生成對抗模型的全自動摳圖方法及裝置、介質和設備。

背景技術

圖像摳圖一直是影視后期制作里一個非常繁重的任務，其目的是框選出圖像中主體(通常是人物)的區域，再結合其他背景圖像，來替換主體所處的場景。傳統圖像摳圖采用人工的方式，將主體從圖像中框選出來，這種方法速度慢，效果差，難以處理毛發等細小的區域。現代影視產業通常采用綠幕摳圖技術，將拍攝場景局限在一塊綠色幕布前，摳圖時將綠色區域之外的其他區域設置為主體區域，達到框選出主體的目的。這種方法速度快，效果好，但由于需要在綠幕前拍攝，同時需要專業的設備予以輔助，對于小型企業來說門檻較高。

近些年來深度學習技術日漸火熱，大量基于深度學習技術的新方法在人臉識別，圖像生成，文本翻譯，圖像分割等領域里上達到遠超傳統方法的效果。深度學習技術從大量的數據中學習他們共同的特征，同時擬合數據中的分布，從高級語義信息層面里對輸入的內容作出判斷，因此深度學習技術十分依賴于目標任務相關的數據集。

如何使用深度學習技術來對圖像進行摳圖，這個問題受到了學術界和工業界廣泛的關注。隨著Adobe公司于2017年公開了可用于深度學習技術的圖像摳圖數據集后，大量基于深度學習技術來解決圖像摳圖任務的方法涌現了出來，這些方法往往能達到和綠幕摳圖一樣的準確度，而且不需要在綠幕前進行拍攝，因此，基于深度學習技術的方法大大解放了拍攝環境，不需要專業的設備，也能快速的從拍攝圖像中框選出主體區域，實現背景替換等影視后期特效。

目前基于深度學習技術來對圖像進行摳圖的方法，盡管擺脫了在綠色幕布前拍攝的要求，但仍然需要專業人員輸入輔助信息，即三元分割圖。三元分割圖標志了輸入圖像的前景部分(主體部分)，背景部分，和混合部分(不確定部分)。利用深度學習技術來訓練一個分割模型，對圖像進行自動分割，也是一個受到學術界和工業界廣泛關注的問題。然而，目前分割模型產生的用于圖像摳圖任務所需的三元分割圖往往不準，因此需要專業人員手動標注。對于視頻而言，專業人員需要對每一幀圖像都手工標注三元分割圖，大大降低了摳圖的處理速度。因此，研究如何更好的完善這些基于深度學習技術的方法，使得圖像摳圖無需專業人員參與，對于學術界和工業界都具有十分重要的意義。

發明內容

本發明的第一目的在于解決現有技術的不足，提出一種基于生成對抗模型的全自動摳圖方法，可精確獲取到三元分割圖，實現全自動摳圖。

本發明的第二目的在于提出一種基于生成對抗模型的全自動摳圖裝置。

本發明的第三目的在于提出一種計算機可讀存儲介質。

本發明的第四目的在于提出一種計算設備。

本發明的第一目的通過下述技術方案實現：一種基于生成對抗模型的全自動摳圖方法，包括：

第一階段：

1-1)隨機產生一段高斯噪聲作為隱空間編碼；

1-2)將隱空間編碼輸入到生成對抗模型的生成器中，生成器輸出該隱空間編碼對應的一張圖片；