[發明專利]使用神經網絡的交互式圖像摳圖

在審

• 申請號: 201911228273.0
• 申請日: 2019-12-04
• 公開（公告）號: CN111754517A
• 公開（公告）日: 2020-10-09
• 發明（設計）人: B·L·普里斯;S·科恩;M·福特;徐寧
• 申請（專利權）人: 奧多比公司
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/194;G06T7/90
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 馬明月

本公開的實施例涉及使用神經網絡的交互式圖像摳圖。公開了基于深度神經網絡(DNN)的交互式圖像摳圖的技術。實現根據實施例技術的方法包括：由DNN基于圖像中用戶指定的前景區域位置，生成與圖像相關聯的阿爾法蒙板。方法還包括將第一DNN子網應用于圖像，該第一子網被訓練以基于用戶輸入生成二進制遮罩，該二進制遮罩將圖像的像素指定為背景或前景。方法還包括將第二DNN子網應用于所生成的二進制遮罩，第二子網被訓練以基于用戶輸入生成三分圖，該三分圖將圖像的像素指定為背景、前景或不確定狀態。方法還包括將第三DNN子網應用于所生成的三分圖，三分圖被訓練以基于用戶輸入生成阿爾法蒙板。

技術領域

本公開涉及圖像處理。特別地，本公開涉及用于基于神經網絡的交互式圖像摳圖技術。

背景技術

在許多攝影工作流程中，對圖像中對象的選擇和遮罩處理(masking)(該過程也被稱為圖像摳圖)是一項常見且重要的任務。例如，通常期望能夠從圖像的前景中選擇并提取人或對象，然后將該選擇置于新的背景下和/或在該選擇上執行其他圖像處理任務。不幸的是，現有的照片操縱工具使用起來很繁瑣，并且需要大量的技巧來從圖像中選擇對象，但是這些工具仍然可以產生不準確或不令人滿意的結果。當背景圖像復雜且所選對象的邊界包括諸如毛發或皮毛之類的精細細節時尤其如此，由于許多照片都以人和動物作為其主題，因此這可以是常見的情況。

發明內容

根據一些實施例，公開了一種用于圖像摳圖的方法，該方法包括：由基于處理器的深度神經網絡(DNN)生成與圖像相關聯的阿爾法蒙板，該生成基于圖像中用戶指定的前景區域位置生成該蒙板，其中該生成包括：基于用戶指定的前景區域位置生成與圖像相關聯的二進制遮罩，圖像包括圖像像素，二進制遮罩將圖像像素指定為背景和前景中的至少一個；基于所生成的二進制遮罩和用戶指定的前景區域位置，生成與圖像相關聯的三分圖，該三分圖將圖像像素指定為背景、前景或不確定狀態中的至少一個；以及基于所生成的三分圖和用戶指定的前景區域位置生成阿爾法蒙板。

根據一些實施例，公開了一種用于圖像摳圖的系統，該系統包括：一個或多個處理器，該一個或多個處理器用以控制和/或執行深度神經網絡(DNN)，該DNN被配置為生成與圖像相關聯的阿爾法蒙板，該圖像包括圖像像素，該生成基于圖像中用戶指定的前景區域位置，其中DNN包括：第一子網，該第一子網被配置為基于用戶指定的前景區域位置生成與圖像相關聯的二進制遮罩，該二進制遮罩將圖像像素指定為背景和前景中的至少一個；第二子網，該第二子網被配置為基于二進制遮罩和用戶指定的前景區域位置生成與圖像相關聯的三分圖，該三分圖將圖像像素指定為背景、前景或不確定狀態中的至少一個；以及第三子網，該第三子網被配置為基于三分圖和用戶指定的前景區域位置生成阿爾法蒙板。

根據一些實施例，公開了一種計算機程序產品，該計算機程序產品包括用指令編碼的一種或多種非瞬態機器可讀介質，指令在由一個或多個處理器執行時使得過程被執行以用于生成圖像的三分圖，該過程包括：由深度神經網絡(DNN)生成與圖像相關聯的三分圖，該圖像包括圖像像素，DNN被配置為基于與圖像相關聯的二進制遮罩和圖像中用戶指定的前景區域位置生成三分圖，該三分圖將圖像像素指定為背景、前景或不確定狀態中的至少一個，其中DNN的訓練包括損失函數的最小化，該損失函數的最小化基于以下兩者的比較：(1)從訓練圖像和相關聯的訓練二進制遮罩生成的三分圖像素，以及(2)與訓練圖像相關聯的基礎真實三分圖像素。

附圖說明

圖1是根據本公開的實施例配置的圖像摳圖(matting)系統的頂層級框圖。

圖2圖示了根據本公開的實施例的輸入圖像到二進制遮罩(mask)的轉換。

圖3圖示了根據本公開的實施例的二進制遮罩到三分圖(trimap)的轉換。

圖4圖示了根據本公開的實施例的三分圖到阿爾法(alpha)蒙板(matte)的轉換。

圖5圖示了根據本公開的實施例的使用alpha蒙板的圖像合成。