[發(fā)明專利]為圖像或圖像序列添加輔助可視對象的方法及設(shè)備

在審

• 申請?zhí)枺?/td>: 201310063135.8
• 申請日: 2013-02-28
• 公開（公告）號: CN103366392A
• 公開（公告）日: 2013-10-23
• 發(fā)明（設(shè)計(jì)）人: M.溫特;W.普茲克-羅伊明;J.杰查爾斯基
• 申請（專利權(quán)）人: 湯姆森特許公司
• 主分類號: G06T13/20
• 分類號: G06T13/20;G06T7/00;H04N5/262
• 代理公司: 北京市柳沈律師事務(wù)所 11105
• 代理人: 呂曉章

技術(shù)領(lǐng)域

本發(fā)明涉及一種為圖像或圖像序列提供輔助的可視對象的解決方案。更具體地說，本發(fā)明涉及一種為圖像或視頻場景，特別是體育場景添加輔助線或其他有用的可視對象的解決方案。

背景技術(shù)

在許多種運(yùn)動中更加詳細(xì)地分析情況是一個趨勢。例如，在足球比賽中，越位的判定經(jīng)常會受到質(zhì)疑，或者討論球是否真的落在球門線的后面。然而，對于某些視頻場景來說，為了能夠得到合理的結(jié)論，輔助線或其他有用的信息有著極高的價值。廣播公司有時候會提供這種輔助線，但不總是會提供。用戶對這種服務(wù)無法進(jìn)行控制。

在這方面，US2010/0050082公開了一種在視頻中插入可視對象（例如，圖像、視頻、圖形、文本或廣告）的方法。為了達(dá)到此目的視頻分析模塊對視頻進(jìn)行分析以獲取感興趣的點(diǎn)的位置，基該位置于確定插入位置。然后根據(jù)確定的插入位置插入可視對象。視待被插入的可視對象的類型而定，用戶側(cè)需要使用高性能的計(jì)算機(jī)。

本發(fā)明的一個目的是提出一種簡化的為圖像或圖像序列添加輔助的可視對象的解決方案，用戶可以至少部分地控制它。

發(fā)明內(nèi)容

根據(jù)本發(fā)明，該目的通過使用一種為圖像或圖像序列添加輔助的可視對象的方法實(shí)現(xiàn)，該方法包括以下步驟：

-接收圖像或圖像序列的廣播；

-獲取與圖像或圖像序列一起被提供的元數(shù)據(jù)，其中所述元數(shù)據(jù)至少包括有關(guān)圖像或圖像序列中描繪的場景的三維結(jié)構(gòu)的信息；

-接收顯示輔助的可視對象的用戶請求；

-根據(jù)獲取的元數(shù)據(jù)確定輔助的可視對象在圖像或圖像序列中的位置；

-根據(jù)確定的位置將輔助的可視對象添加到圖像或圖像序列。

同樣，一種用于回放圖像或圖像序列的裝置適用于執(zhí)行如上所述的將輔助的可視對象添加到圖像或圖像序列的方法。

根據(jù)本發(fā)明，其他的元數(shù)據(jù)（例如，3D相關(guān)的元數(shù)據(jù)）與視頻數(shù)據(jù)一起發(fā)送。基于這些信息，接收器能夠根據(jù)用戶的需求將輔助線和其他輔助的可視對象添加到視頻上。其他的元數(shù)據(jù)優(yōu)選地包括有關(guān)記錄攝像機(jī)和被記錄場景（例如，庭院）的相對位置的信息或更普遍的深度或視差信息。有利地在運(yùn)動場景的情況下提供球和/或球員相對于攝像機(jī)的位置。此外，為了能夠除去光學(xué)畸變，有利地使得幾何攝像機(jī)校準(zhǔn)（geometrical?camera?calibration）可用。如果其他元數(shù)據(jù)還包括場景更加詳細(xì)的深度或視差信息，那么甚至有可能由于場景中的其他對象（例如，球員）遮擋這些線或其他輔助的可視對象的一部分。替代性地，輔助的可視對象可以簡單地是半透明的。這可以簡化實(shí)施。

例如，用戶可以使用輔助的可視對象獨(dú)立于廣播公司檢查裁判是否正確地處理了某個運(yùn)動場景。由于體育愛好者通常會花費(fèi)大量的時間討論一些關(guān)鍵情景，所以他們很重視能夠像專業(yè)人士那樣在家里分析這些場景。因此，根據(jù)本發(fā)明的解決方案可以為消費(fèi)者帶來他們需求的交互性。

場景圖像和附加的3D相關(guān)的元數(shù)據(jù)的組合允許創(chuàng)建真實(shí)場景和虛擬場景的混合（mixture）。使用足夠多的3D相關(guān)的元數(shù)據(jù)甚至可以實(shí)現(xiàn)場景中虛擬的“直升機(jī)飛行（helicopter?flight）”。不幸的是，對場景中被遮擋的部分來說，通常沒有足夠多可用的信息。而球員、球和簡單平面場地的位置是可用的。這對通過CGI場景（CGI：計(jì)算機(jī)生成的圖像）獲得動畫飛行路線（animated?flight）來說足夠了。機(jī)頂盒繪制球員作為對象，并計(jì)算該完全動畫場景中的飛行路線。這足以獲得有關(guān)3D場景的一些想法。當(dāng)然，廣播公司可以傳送從其他攝像機(jī)導(dǎo)出的進(jìn)一個的3D相關(guān)的信息。在這種情況下，機(jī)頂盒可以進(jìn)行更加詳細(xì)的3D建模，達(dá)到完美動畫的效果。

附圖說明

為了更好地理解本發(fā)明，現(xiàn)在將參照附圖在下面的描述中進(jìn)行更加詳細(xì)的說明。應(yīng)該理解的是，本發(fā)明并不限定于這些示例性實(shí)施例，可以在不脫離在所附權(quán)利要求書中限定的本發(fā)明的范圍的情況下對特定的功能進(jìn)行權(quán)宜的組合和/或修改。附圖中：

圖1示出了攝像機(jī)捕獲的足球比賽的場景；

圖2示出了帶有兩根附加的輔助線的圖1的場景；

圖3示出了帶有半透明的輔助線和圓弧的圖1的場景；

圖4示出了帶有球的軌跡的圖1的場景；

圖5示出了帶有預(yù)期的球的軌跡和輔助線的圖1的場景；

圖6描述了電腦游戲的一個帶有虛擬的球陰影的鏡頭；

圖7示出了真實(shí)足球比賽的一個不帶有任何球的陰影的場景；

圖8描述了帶有半透明陰影的圖7的場景；

圖9示出了帶有全黑陰影的圖7的場景；