[發明專利]用于對對象分割的前景掩模校正的圖像處理設備和方法

有效

• 申請號: 201711066897.8
• 申請日: 2017-11-03
• 公開（公告）號: CN108122208B
• 公開（公告）日: 2023-05-16
• 發明（設計）人: 武田浩行;M·格哈拉維-艾爾克哈薩里
• 申請（專利權）人: 索尼公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T7/194
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 田菁

用于對對象分割的前景掩模校正的圖像處理設備和方法，包括一系列圖像幀的接收。利用與輸入圖像幀關聯的深度信息，并通過使輸入圖像幀與輸入圖像幀的背景(BG)圖像之差二值化，來估計第一FG掩模。在估計的第一FG掩模的邊界區中，標識具有待被更新為第二掩模值的第一掩模值的第一組像素。根據估計的第一FG掩模的邊界區中的所述第一組像素的標識，來確定第二FG掩模。

對相關申請的交叉引用/通過引用的合并

無。

技術領域

本公開的各個實施例涉及用于對象分割的圖像處理。更具體地，本公開的各個實施例涉及用于對對象分割的前景(FG)掩模校正的圖像處理設備和方法。

背景技術

視頻監視系統，機器人和汽車行業領域中的機器視覺系統，以及消費電子(CE)設備的領域的最新進展主要歸因于圖像處理技術的快速技術發展。一種這樣的圖像處理技術是圖像分割，圖像分割可以是指根據特定的規則，把圖像分成若干區域。盡管已知把圖像或視頻的前景對象和背景分開的各種分割方法，不過，復雜性、精確性和計算資源要求會根據要達到的目的而變化。

在常規的視頻分割方法中，分割前景對象的常見途徑是從新捕捉的圖像中，減除預先確定的靜態背景圖像。減除之后的剩余像素可被標記為前景。預先確定的靜態背景圖像可以是在視頻分割處理開始時生成的完全靜態的背景圖像。用戶可以用圖像捕捉設備來捕捉背景場景的多個圖像，并對多個圖像進行平均來生成完全靜態的背景圖像。于是，在預先確定的靜態背景圖像的生成期間，用戶可能需要確保沒有移動對象(包括用戶)出現在捕捉的場景中。此外，如果圖像捕捉設備移離其初始位置，那么可能需要再次生成靜態背景圖像，這是麻煩的。目前，分割前景對象的另一種途徑是利用來自深度傳感器的深度信息。然而，由于存在于多數深度傳感器中的嚴重的噪聲，嚴重依賴于深度值獲得的前景對象區的邊界通常不平滑。由于來自深度傳感器的無效的深度值，在前景對象區內可能存在一些不希望的孔洞。

通過描述的系統和參考附圖在本申請的剩余部分中記載的本公開的一些方面的比較，對本領域技術人員來說，常規和傳統途徑的其他限制和缺點將變得明顯。

發明內容

提供一種用于對對象分割的前景掩模校正的圖像處理設備和方法，其實質上如附圖至少之一中所示和/或結合附圖至少之一所述地更完整地記載在權利要求書中。

通過對連同附圖(其中相似的附圖標記是指相似的部分)對本公開的以下詳細描述的檢閱，可領會本公開的這些及其他特征和優點。

附圖說明

圖1是按照本公開的實施例圖解說明用于對對象分割的前景掩模校正的示例網絡環境的框圖。

圖2是按照本公開的實施例圖解說明用于對對象分割的前景掩模校正的示例圖像處理設備的框圖。

圖3是按照本公開的實施例圖解說明公開的用于對對象分割的前景掩模校正的圖像處理設備和方法的示例實現情形的詳細框圖。

圖4是按照本公開的實施例圖解說明用于對對象分割的前景掩模校正的示例操作的流程圖。

具體實施方式

在用于對對象分割的前景掩模校正的圖像處理設備和方法之中，存在各種實現。本公開的示例方面可包括一種通過圖像處理設備從圖像捕捉設備接收一系列圖像幀的方法。在接收的一系列圖像幀之中的輸入圖像幀中，可估計對象的第一前景(FG)掩模。可利用與輸入圖像幀關聯的深度信息來估計第一FG掩模。可通過使輸入圖像幀與輸入圖像幀的背景(BG)圖像之差二值化來估計第一FG掩模。在估計的第一FG掩模的邊界區中，可標識具有第一掩模值的第一組像素，該第一掩膜值待被更新為第二掩模值。可至少根據估計的第一FG掩模的邊界區中的所述第一組像素的標識，來確定第二FG掩模。