[發明專利]一種基于單階段多任務協同學習的人像摳圖方法及系統

有效

• 申請號: 202011393907.0
• 申請日: 2020-12-03
• 公開（公告）號: CN112396598B
• 公開（公告）日: 2023-08-15
• 發明（設計）人: 賴賢城;謝曉華;賴劍煌
• 申請（專利權）人: 中山大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/194;G06T5/30;G06T3/40;G06N3/0464;G06N3/08
• 代理公司: 深圳市創富知識產權代理有限公司 44367
• 代理人: 李思坪

本發明公開了一種基于單階段多任務協同學習的人像摳圖方法及系統，該方法包括：獲取數據集并對數據集進行預處理，得到訓練人像圖、對應的透明度圖和對應的三元圖；將訓練人像圖輸入到預構建摳圖模型，生成訓練的三元圖和訓練的透明度圖；損失計算并更新預構建摳圖模型的參數，得到訓練完成的摳圖模型；獲取待測圖像并輸入到訓練完成的摳圖模型，得到人像前景圖。該系統包括：數據預處理模塊、訓練模塊、參數更新模塊和預測模塊。通過使用本發明，解決現有技術中摳圖階段容易由三元圖階段的錯誤導致摳圖階段的預測錯誤。本發明作為一種基于單階段多任務協同學習的人像摳圖方法及系統，可廣泛應用于圖像摳圖領域。

技術領域

本發明屬于圖像摳圖領域，尤其涉及一種基于單階段多任務協同學習的人像摳圖方法及系統。

背景技術

圖像摳圖，是指在一張給定的圖像中準確地摳出指定的前景物體，使得摳出的前景能夠很自然地與其他背景圖像進行合成。目前的摳圖技術主要為藍屏摳圖技術，然而，藍屏摳圖需要前景目標在特定顏色的背景當中，限制嚴格且成本較高，這就限制了其只能應用于小部分的領域。近年來的深度學習結合傳統方法的半自動摳圖太依賴于模型的假設且無法關注到語義層面的匹配。

發明內容

為了解決上述技術問題，本發明的目的是提供一種基于單階段多任務協同學習的人像摳圖方法及系統，解決現有技術中摳圖階段容易由三元圖階段的錯誤導致摳圖階段的預測錯誤。

本發明所采用的第一技術方案是：一種基于單階段多任務協同學習的人像摳圖方法，包括以下步驟：

獲取數據集并對數據集進行預處理，得到訓練人像圖、對應的透明度圖和對應的三元圖；

將訓練人像圖輸入到預構建摳圖模型，生成訓練的三元圖和訓練的透明度圖；

將訓練的三元圖和訓練的透明度圖與數據集該訓練人像圖對應的三元圖和對應的透明度圖進行損失計算并更新預構建摳圖模型的參數，得到訓練完成的摳圖模型；

獲取待測圖像并輸入到訓練完成的摳圖模型，得到人像前景圖。

進一步，所述獲取數據集并對數據集進行預處理，得到訓練人像圖、對應的透明度圖和對應的三元圖這一步驟，其具體包括：

獲取人像摳圖數據集，所述人像摳圖數據集包括人像圖和對應的透明度圖；

對人像圖進行數據增強和放縮，得到訓練人像圖；

對透明度圖進行二值化處理、形態學的腐蝕和膨脹處理，得到腐蝕參數和膨脹參數；

根據腐蝕參數和膨脹參數生成對應的三元圖。

進一步，所述對人像圖進行數據增強和放縮，得到訓練人像圖這一步驟，其具體包括：

以0.3概率對人像圖進行隨機邊緣填充；

以0.5概率對人像圖進行水平方向翻轉；

對人像圖進行伽馬變換；

對人像圖加入高斯噪聲；

將經過邊緣填充、水平翻轉、伽馬變換和加入高思噪聲的人像圖縮放為256*256的大小，得到訓練人像圖。

進一步，所述摳圖模型包括三元圖支路、主體粗摳支路和邊緣精摳支路，所述訓練的透明度圖包括訓練的主體透明度圖、訓練的邊緣透明度圖和訓練的最終透明度圖。

進一步，所述將訓練人像圖輸入到預構建摳圖模型，生成訓練的三元圖和訓練的透明度圖這一步驟，其具體包括：

將訓練人像圖輸入到預構建摳圖模型，經過三元圖支路中的深層特征提取器生成特征圖；

將特征圖經過三元圖支路中的解碼器生成訓練的三元圖；