[發明專利]在視頻內插入虛擬對象的方法及裝置

在審

• 申請號: 201410286318.0
• 申請日: 2014-06-24
• 公開（公告）號: CN104244021A
• 公開（公告）日: 2014-12-24
• 發明（設計）人: P.赫利爾;C.查馬雷特;L.奧伊塞爾
• 申請（專利權）人: 湯姆遜許可公司
• 主分類號: H04N21/234
• 分類號: H04N21/234;H04N21/44;H04N21/81
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 呂曉章

技術領域

本發明涉及一種用于通過利用表征觀眾在視頻上的注視分配(gaze?allocation)的視頻的顯著圖在視頻中插入虛擬對象的方法和裝置。本發明還涉及適用于在視頻中插入虛擬對象的這類方法和裝置的計算機可讀介質。

背景技術

虛擬內容插入是視頻分析的一種新興應用，在視頻增強領域中已經得到了廣泛應用以提高觀眾的觀賞體驗。虛擬內容插入的一種實際應用是為廣告客戶提供巨大商機的視頻廣告。例如，視頻共享網站YouTube不時地在視頻的底部插入商業廣告的橫幅(banner)。

視頻內虛擬內容插入的一個主要挑戰是平衡兩個相互矛盾的任務，即使得插入的內容足夠顯眼讓觀眾注意到，同時不干擾觀眾對原有內容的觀賞體驗。在視頻顯示期間，常規的流中插入，即在視頻流中插入虛擬內容會中斷觀眾的觀看。雖然可以通過在視頻開始或結尾插入虛擬內容來減少干擾，但觀眾可能跳過或避開插入的內容。在視頻幀中插入虛擬內容的視頻中的插入是更有效的插入的另一種選擇。它可以是虛擬內容在原始內容之上流過的覆蓋插入或是將虛擬內容嵌入視頻的場景中插入。這兩種方法都提供了在視頻幀中合適的時機和位置插入虛擬內容的可能性。

已經研究了用于自動在視頻中插入的方法和系統以實現有效的插入，同時將對觀眾的干擾減少到最小。一種有用的工具是預測并分析觀眾在視頻上的注視分配的視頻的視覺注意分析，即顯著圖。通常，顯著分析在插入之前進行，以決定在何時以及何處在視頻中插入虛擬內容。吸引人注意的鏡頭通常被選擇作為插入時間，視頻幀中不那么吸引人注意的、具有最低顯著度的區域被選擇作為插入位置以減少對觀眾的干擾。然而，這可能降低插入的有效性，即觀眾將會集中注意原始內容并忽略插入的虛擬對象。另外，由于顯著分析是在插入之前完成的，因此未對插入結果進行檢查，插入的質量可能較差。

發明內容

因此，本發明的一個目的是提出一種在視頻中插入虛擬對象使得插入足夠顯眼但對觀眾來說并不造成過分侵擾的改進的解決方案。

根據本發明的第一方面，一種利用表征觀眾在視頻圖像上的注視分配的顯著圖并基于顯著圖在視頻圖像中插入虛擬對象的在視頻中插入虛擬對象的方法，其特征在于：在插入虛擬對象之后生成視頻圖像的顯著圖；以及通過調整插入的虛擬對象的至少一個視覺特性來基于顯著圖調整虛擬對象的插入。

因此，一種被配置為在視頻中插入虛擬對象的裝置包括：插入模塊，用于在視頻圖像中插入虛擬對象；顯著度模塊，用于生成視頻圖像的顯著圖，其中顯著圖通過顯著度模塊在插入虛擬對象之后生成；以及調整模塊，用于通過調整插入的虛擬對象的至少一個視覺特性調整虛擬對象的插入。

而且，本發明還提供了一種具有存儲于其中的用于通過利用表征觀眾在視頻圖像上的注視分配的顯著圖并通過基于顯著圖在視頻圖像中插入虛擬對象來在視頻中插入虛擬對象的指令的計算機可讀介質。當由計算機執行時，該指令使得計算機：在插入虛擬對象之后生成視頻圖像的顯著圖；以及通過調整插入的虛擬對象的至少一個視覺特性來基于顯著圖調整虛擬對象的插入。

附圖說明

為更好地理解，現在將參照附圖在下面的描述中對本發明做更詳細的說明。可以理解的是，本發明并不限于這些公開的示例性實施例，并且在不脫離所附權利要求限定的本發明的范圍的情況下，可以對具體的特征方便地組合和/或修改。在附圖中：

圖1是示出根據本發明的在視頻中插入虛擬對象的方法的流程圖。

圖2是示出根據本發明的方法的在視頻中選擇區域的步驟的流程圖。

圖3是示出根據本發明的實施在視頻中插入虛擬對象的方法的裝置的示意圖。

具體實施方式

在下面，將對本發明的用于利用視頻的顯著圖在視頻中(例如，在視頻圖像中)插入虛擬對象的方法和裝置進行說明。顯著圖用于表征觀眾在目標視頻上(例如，在視頻圖像上)的注視分配，并可以使用本領域已知的任何方法或技術計算得到。例如，顯著圖可以用在Urban,F.等人在《Medium?Spatial?Frequencies,a?Strong?Predictor?of?Salience》(Cognitive?Computation3(1)，37-47頁，2011年)以及Le?Meur,O.等人在《Predicting?visual?fixations?on?video?based?on?low-level?visual?features》(Vision?Research，卷47/19，2483-2498頁，2007年)中描述的方法計算。