[發明專利]實況視頻中的背景移除

有效

• 申請號: 200680046337.X
• 申請日: 2006-12-05
• 公開（公告）號: CN101326514A
• 公開（公告）日: 2008-12-17
• 發明（設計）人: J·孫;W·張;湯曉鷗;H－Y·沈
• 申請（專利權）人: 微軟公司
• 主分類號: G06F17/00
• 分類號: G06F17/00
• 代理公司: 上海專利商標事務所有限公司
• 代理人: 陳斌

技術領域

本發明涉及在實況視頻中將前景從背景中自動分離。

背景技術

層提取一直以來是計算機視覺領域中的研究課題。最近的研究工作顯示前 景層可從例如電話會議的情形中的雙目立體視頻中被精確而高效地提出(即， 接近實時)。在一個應用中，這種前景層提取被用來執行高質量實況背景替換。 雙目方法的成功源自多提示信息(即，立體、顏色和對比度提示信息)的概率 融合。

然而，在大多數現實的視覺通信情形下，例如電話會議或即時消息通信， 大多數用戶只有單個web攝像頭在工作。所需要的是，使用這種單個web攝 像頭的有質量的前景層提取。對于一個典型的場景(例如，具有非靜態“移動” 背景)，自動前景層提取在本領域的當前狀況下仍然是一個巨大挑戰。但是， 在一種特殊的情況下，即背景是已知并固定的情況下，從單個攝像頭中獲得高 質量、實時的前景提取(或背景移除)是有用的。

為了解決這個問題，最有效的方法是背景減除。背景減除將前景對象檢測 為當前圖像與一個預先存在、已知的背景圖像的差。然而，這種背景減除仍然 存在復雜的問題：首先，背景減除中的閾值對于噪聲和背景照明變化是很敏感 的。一個較大的閾值檢測到較少的前景像素，反之亦然。第二，前景顏色和背 景顏色會碰巧非常相似，導致檢測的前景對象中存在洞。已提出更復雜的技術 來克服這些問題。但是結果仍然是容易出錯并且不能夠足夠準確以進行高質量 實況前景提取。

最近的交互圖像和視頻分割技術顯示出基于顏色/對比度的模型的有力效 果。基于顏色/對比度的模型考慮對手動獲得的前景/背景顏色模型的顏色相似 度和沿分割邊界的對比度(或邊緣)強度兩者。最終前景層通過采用最小割算 法被全局地確定。但是即使采用顏色和對比度提示信息的背景減除方法仍然不 足以進行正確的前景提取。

一個直接的改進是結合以上兩個技術—從背景減除中構建前景和背景顏 色模型，然后運用以上基于顏色/對比度的模型。由于背景圖形是已知和固定的， 所以背景顏色模型可以被建模成全局顏色模型與更精確的單像素顏色模型的 混合。這個組合可產生更精確的分割結果，并在此處被稱為(常規的)“基本 模型”。

然而，基本模型中仍然存在問題。由于基本模型同時考慮顏色和對比度兩 者，所以最終的分割邊界在有雜斑的背景中不可避免地會吸引或牽引到高對比 度邊緣。盡管這種差錯在邊界周圍是小的或者僅在部分幀中發生，但是由該差 錯引起的正在播放的視頻中的閃爍偽影在最終的合成視頻中會是非常使人分 心且不舒服的。

發明內容

示例性系統和方法在視頻序列中將前景從背景圖像中分割出來。在一個實 現中，系統在保持分割邊界自身的對比度的同時通過衰減背景對比度來提煉前 景和背景圖像之間的分割邊界，實時提供了對實況視頻的精確背景切割。然后， 替換背景可以與在實況視頻中分割出的前景合并。該系統可應用一個自適應的 背景顏色混合模型以便在諸如攝像機運動、照明變化以及背景中的小對象的移 動等各種背景變化的情況下改進前景從背景中的分割。

提供本概述以便以簡化的形式介紹將在以下詳細描述中進一步描述的一 些概念。本概述并非意在確定所請求保護的主題的關鍵特征或重要特征，也并 非意在用來幫助確定所請求保護的主題的范圍。

附圖說明

圖1是在實況視頻中執行背景移除的示例性系統的圖示。

圖2是示例性視頻層提取引擎的框圖。

圖3是示例性背景衰減和背景替換的圖示。

圖4是示例性背景移除對比常規的背景移除的圖示。

圖5是一視頻幀中的像素對與該視頻幀的已知背景中的對應像素對的對比 度屬性的示例性比較的圖示。

圖6是基于對比度圖中經衰減的背景的示例性改進的分割結果的圖示。

圖7是使用不同的背景對比度衰減參數值產生的示例性對比度圖的圖示。

圖8是基于經衰減的背景對比度來提煉分割邊界的示例性方法的流程圖。

圖9是比較視頻幀和已知背景之間的像素對以便通過衰減背景中的對比度 來提煉分割邊界的示例性方法的流程圖。

圖10是使用自適應的背景顏色混合模型來維持視頻序列中的背景的示例 性方法的流程圖。

具體實施方式

概要