[發明專利]基于實例分割的語義合成方法

在審

• 申請號: 202011459573.2
• 申請日: 2020-12-11
• 公開（公告）號: CN112614149A
• 公開（公告）日: 2021-04-06
• 發明（設計）人: 孫騰
• 申請（專利權）人: 北京影譜科技股份有限公司
• 主分類號: G06T7/194
• 分類號: G06T7/194;G06T7/11;G06T5/50;G06N3/04;G06N3/08
• 代理公司: 北京萬思博知識產權代理有限公司 11694
• 代理人: 高鎮

本申請公開了一種基于實例分割的語義合成方法，用于對圖像進行合成，通過MaskR?CNN網絡對所述圖像進行分割，針對每個對象實例生成一個較大不確定區域的粗三元圖，然后將所得到的粗三元圖與所述圖像一起輸入到深度摳圖網絡中以獲得最終前景蒙版，通過所述最終前景蒙版對圖像進行合成。本申請能夠實現自動前景對象提取方法，即使在復雜背景下也可以工作，對于復雜背景下的圖像可對各個對象實例進行分割和圖像摳圖過程，允許對多個對象實例進行分類，并從背景中分割和提取，便于后續有選擇地進行圖像合成，有效提高處理效率，同時降低人力投入。

技術領域

本申請涉及圖像處理技術領域，特別是涉及一種基于實例分割的語義合成方法。

背景技術

圖像合成是電影制作和圖像編輯中的關鍵步驟，它將來自不同來源的視覺元素組合成一個圖像。當背景為純藍色或綠色時，使用色度鍵控可以在工作室中輕松完成自動圖像合成。然而，在具有復雜背景的自然場景中進行圖像合成仍然是一項繁瑣的工作，需要有經驗的人員進行手工分割。從圖像源中提取視覺元素的過程通常需要專業人員手工從確定的背景中精確提取要觀察的前景對象，或者通過自動色度鍵控從彩色背景(例如綠屏)中識別前景對象，這無疑會給圖像自動處理帶來了困難，不但增加了人工成本，還影響了生產效率。

發明內容

本申請的目的在于克服上述問題或者至少部分地解決或緩減解決上述問題。

根據本申請的一個方面，提供了一種基于實例分割的語義合成方法，用于對圖像進行合成，通過Mask R-CNN網絡對所述圖像進行分割，針對每個對象實例生成一個較大不確定區域的粗三元圖，然后將所得到的粗三元圖與所述圖像一起輸入到深度摳圖網絡中以獲得最終前景蒙版，通過所述最終前景蒙版對圖像進行合成。

可選地，通過Mask R-CNN網絡對所述圖像進行分割時，利用MASK R-CNN的中間輸出為每個檢測到的對象實例生成對象邊界框和實例掩碼，利用所得到的對象邊界框和實例掩碼對每個實例估計出一個較大不確定區域的粗三元圖。

可選地，將所得到的粗三元圖與所述圖像一起輸入到深度摳圖網絡中以獲得最終前景蒙版的過程，是在前次的蒙版輸出和深度摳圖網絡輸入之間插入了反饋連接，從而得到逐次質量提升的蒙版輸出，并在多次反饋循環后得到所述最終前景蒙版。

可選地，所述反饋循環的次數至少為3次。

可選地，將所得到的粗三元圖與所述圖像一起輸入到深度摳圖網絡中以獲得最終前景蒙版的過程包括如下步驟：

步驟S1：

將粗三元圖與原始的所述圖像一起輸入到深度摳圖網絡中，得到蒙版輸出；

步驟S2：

將步驟S1中的蒙版輸出的alpha值擴張來創建新的三元圖，將新的三元圖再連通所述圖像反饋到深度摳圖網絡中再次細化得到新的蒙版輸出，所得到新的蒙版輸出的alpha值再次擴張進而循環前述過程以得到進一步細化的蒙版輸出，構成閉環的反饋循環；

步驟S3：

在完成至少三次的所述反饋循環后得到質量提高的所述最終前景蒙版。

可選地，在所述步驟S2中，所采用的深度摳圖網絡是對三元圖中的未知區域卷積生成前景蒙版塊，再將所述前景蒙版塊與三元圖中的原始塊求平均值，從而得到新的蒙版輸出。

可選地，所述深度摳圖網絡采用的是VGG-16架構。

特別地，本發明還提供了一種計算設備，包括存儲器、處理器和存儲在所述存儲器內并能由所述處理器運行的計算機程序，其中，所述處理器執行所述計算機程序時實現如上所述的方法。

本發明還提供了一種計算機可讀存儲介質，優選為非易失性可讀存儲介質，其內存儲有計算機程序，所述計算機程序在由處理器執行時實現如上所述的方法。