[發明專利]多人摳圖方法、系統、裝置和存儲介質

在審

• 申請號: 202110676420.1
• 申請日: 2021-06-18
• 公開（公告）號: CN113506306A
• 公開（公告）日: 2021-10-15
• 發明（設計）人: 賴賢城;劉帥;于鵬
• 申請（專利權）人: 廣州方圖科技有限公司
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/194;G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 常柯陽

本發明公開了一種多人摳圖方法、系統、裝置和存儲介質，涉及信息處理技術領域。多人摳圖方法，包括以下步驟：獲取多人圖像；對所述多人圖像進行第一處理得到多張單人圖像；對所述單人圖像進行第二處理得到所述單人圖像的第一摳圖結果；將多張所述單人圖像的所述第一摳圖結果進行合并得到第二摳圖結果。本申請的第二摳圖結果相比于直接在多人圖像上進行摳圖的準確度更高。本申請的得到的摳圖結果相比于直接在多人圖像上進行摳圖的準確度更高。

技術領域

本發明涉及信息處理技術領域，尤其涉及一種多人摳圖方法、系統、裝置和存儲介質。

背景技術

提取前景這一任務上，有兩種解決方法。一種是分割(segmentation)，一種是摳圖(matting)。

分割中有語義分割(semantic segmentation)和實例分割(instancesegmetation)。語義分割，是指將一張給定圖像的每個像素分類為某一類別，例如將圖像中表示“人”的像素分類為“人”而將表示“狗”的像素分類為“狗”。實例分割是對同一類別的物體之間的不同實例以不同的身份進行區分，例如對“人”的實例分割中，需要表明哪些像素屬于“人物1”，哪些屬于“人物2”。由于需要識別圖中的語義信息進行分割，因此需要用機器學習的方法。目前的語義和實例分割均采用了深度學習方法從大量的數據中學習得到可以自動識別圖中像素語義的模型。

摳圖與與分割存在一定的不同，在“摳圖”概念中假設圖像中每個像素都是由一定比例的前景色和一定比例的背景色組合成的。因此不是像語義分割一樣對某個像素進行硬分類，而是需要求出每個像素中包含多少前景比例。相比于分割，使用摳圖方法提取出的前景能夠更自然的與其他背景圖像進行合成。傳統的摳圖依賴于用戶提供的三元圖，是一種半自動摳圖。

語義/實例分割和自動摳圖方法均依賴于深度學習方法，需要大量數據支撐。語義分割或者實例分割所需要的數據集相對摳圖更容易得到。這是因為分割任務中的數據集較為粗糙，其物體邊界通常是粗略的硬分割。而自動摳圖的數據集則較難獲取，因為需要對大量的物體邊界進行細致的標注，標注每個像素含有多少前景比例。這是一個實數標注任務，相比分割的類別標注所需的人工多得多。

由于上述的數據集情況，目前的摳圖方案：

(1)語義/實例分割的數據集較為豐富，并且包含了較多的多人圖像數據，因此可在數據集上訓練多人圖像分割模型。因此目前的多人圖像前景提取的方案多為語義分割方法，該方法設計一個分割網絡，在多人圖像分割數據集上進行訓練，得到一個可從一張圖像中分割出多個人的模型。但是分割是對像素進行確切的分類，其無法用于確定出每個像素中的前景比例。因此分割雖然能對多人圖像進行粗糙的分割，但是分割精度不足。

(2)自動摳圖的數據集較為稀缺，并且已有的數據集中只有單人圖像而幾乎不存在多人圖像。這一現狀導致了無法在摳圖數據集上直接訓練多人圖像摳圖模型。目前的自動摳圖模型囿于數據集的限制，雖然能訓練出用于單人摳圖的模型，但是用于多人圖像摳圖時會出現漏摳、鏤空等大面積出錯的情況。

發明內容

為了解決上述技術問題的至少之一，本發明提出一種多人摳圖方法、系統、裝置和存儲介質，提高多人圖像的摳圖精確度。

第一方面，本發明實施例提供了一種多人摳圖方法，包括以下步驟：

獲取多人圖像；

對所述多人圖像進行第一處理得到多張單人圖像；

對所述單人圖像進行第二處理得到所述單人圖像的第一摳圖結果；

將多張所述單人圖像的所述第一摳圖結果進行合并得到第二摳圖結果。

在一些實施例中，所述對所述多人圖像進行第一處理得到多張單人圖像包括以下步驟：

將所述多人圖像輸入人像檢測模型得到多個目標檢測結果；