[發明專利]基于深度學習人物圖像自動分割方法、信息數據處理終端

在審

• 申請號: 201910144508.1
• 申請日: 2019-02-27
• 公開（公告）號: CN110008832A
• 公開（公告）日: 2019-07-12
• 發明（設計）人: 楊剛;李肖;師夏珍
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 西安長和專利代理有限公司 61227
• 代理人: 黃偉洪

本發明屬于圖像處理技術領域，公開了一種基于深度學習人物圖像自動分割方法、信息數據處理終端；收集人物圖片，形成訓練數據集合；構建第一級圖像語義分割的深度神經網絡模型；將收集到的訓練數據集輸入第一級深度神經網絡，生成trimap；構建第二級深度神經網絡模型；將收集到的訓練數據集及得到的trimap一起輸入第二級深度神經網絡，生成分割好的人物掩碼圖片；將人物掩碼圖片與人物原圖合成，得到分割好的人物圖片。本發明根據人物圖像的特征，自動將人物圖像的人物和圖像背景分割開；自動對圖像中人物進行篩選，結合人物特征，分離人物和背景圖片；可用于人物自動化摳圖方面，也可用于人物照片背景替換、背景模糊對背景的處理。

技術領域

本發明屬于圖像處理技術領域，尤其涉及一種基于深度學習人物圖像自動分割方法、信息數據處理終端。

背景技術

目前，最接近的現有技術：人物圖像分割是指將人物照片的前景與背景分離，目標是將輸入的圖片的每個像素進行分類：前景和背景，在像素級別上獲取到分類圖。圖像摳圖已有三十多年的歷史，目前現有的很多成熟算法依然需要依靠用戶手工參與，效率低下，缺乏自動化實現。早期出現了很多圖像分割的算法，比如閾值分割算法、基于邊緣的分割算法、區域擴張算法、分水嶺算法等等，這些算法僅在圖像比較簡單的情況下適用，對于色彩復雜的圖像很難取得理想的分割結果。研究人員嘗試加入用戶的交互來彌補這一不足，用戶只需要在圖片的前景上勾定幾根線條，即可自動將前景分割出來。近年來出現的基于圖像語義的分割算法則相對彌補了這一缺陷，能生成更好的分割結果，成為計算機圖形學的重要算法。盡管近年來在圖像語義分割上出現了很多基于深度學習的方法，例如FCN及其衍生方法如SegNet和DeepLab，但這些方法旨在實現通用的圖像語義分割，并未實現高精度的人物圖像分割，未實現高精度的主要原因在于這些方法不能精細化分割物體邊緣，未消除來自學習網絡中的上采樣部分帶來的誤差。

綜上所述，現有技術存在的問題是：現有基于深度學習圖像語義分割的方法存在人物圖像分割精度低的問題；依賴手工交互輸入，難以做到全自動摳圖，在需要大量處理圖片時效率低下；自動化人物摳圖存在邊界模糊的問題。

解決上述技術問題的難度：人物圖像自動分割難點之一在于人物摳圖的精確性，人物圖片的背景豐富多樣，在復雜多變的背景下實現自動摳圖非常困難，尤其是當背景和人物顏色相近時很難依靠普通圖像處理方法進行分割；第二個難點在于人物的邊緣處理部分，尤其是人物頭發和背景混疊之處很難通過現有的通用語義分割方法實現精確分割，很難實現在人物圖像自動精確分割頭發絲。

解決上述技術問題的意義：目前在人物摳圖領域仍有大量需要人工介入之處，例如需要替換背景、模糊背景時設計師需要投入大量時間將人物從人物照片中摳出，在處理大量圖片時效率尤為低下。實現高精度、高性能的人物圖像語義分割具有重要意義，節省大量時間，一旦獲得人體前景，可以有很多更進一步的應用，例如背景替換、合成多個人物的圖像視頻、對人物進行風格化例如制作人物素描，在視頻壓縮、虛擬現實、影視制作和一般視頻編輯中都有重大應用前景。在嵌入式娛樂設備不斷涌現的今天，精細的自動化人物分割算法特別適合例如手機、數碼相機、攝像頭等設備。

發明內容

針對現有技術存在的問題，本發明提供了一種基于深度學習人物圖像自動分割方法、信息數據處理終端。

本發明是這樣實現的，一種基于深度學習人物圖像自動分割方法，所述基于深度學習人物圖像自動分割方法收集人物圖片，形成訓練數據集合；構建第一級圖像語義分割的深度神經網絡模型；將收集到的訓練數據集輸入第一級深度神經網絡，生成trimap；構建第二級深度神經網絡模型；將收集到的訓練數據集及得到的trimap一起輸入第二級深度神經網絡，生成分割好的人物掩碼圖片；將人物掩碼圖片與人物原圖合成，得到分割好的人物圖片。

進一步，所述基于深度學習人物圖像自動分割方法具體包括：

第一步，收集人物圖片，檢測圖片中人臉所在位置并記錄，標注每張圖片中人體區域和背景區域，生成對應的掩碼圖片，形成訓練數據集合；