[發(fā)明專利]合成裝置及合成方法

無效

• 申請?zhí)枺?/td>: 200980123629.2
• 申請日: 2009-06-16
• 公開（公告）號: CN102067181A
• 公開（公告）日: 2011-05-18
• 發(fā)明（設(shè)計）人: 杰爾馬諾·萊希森林;金丸智一
• 申請（專利權(quán)）人: 松下電器產(chǎn)業(yè)株式會社
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T15/50;H04N5/91
• 代理公司: 永新專利商標(biāo)代理有限公司 72002
• 代理人: 陳萍

技術(shù)領(lǐng)域

本發(fā)明涉及將構(gòu)成數(shù)字流的影像與用計算機(jī)圖形描繪的影像合成的合成裝置。

背景技術(shù)

通過存儲媒體的大容量化、圖像處理的高速化等，即使是民用設(shè)備也能夠高速地描繪CG(Computer?Graphics：計算機(jī)圖形)。這樣的CG在電影等影像作品及游戲中被廣泛使用，提供有將CG合成到實拍影像中的作品等。

作為將CG合成到實拍影像中的技術(shù)，有如下技術(shù)：通過使進(jìn)行CG的描繪的虛擬空間上的光源的位置與將拍攝實拍影像時的現(xiàn)實空間中的光源的位置等價，生成真實感較高的合成影像。

在專利文獻(xiàn)1中，公開了如下圖像現(xiàn)實裝置：通過組合表示現(xiàn)實空間的光源的配置的數(shù)據(jù)來描繪CG，在實拍影像與CG中使陰影的附帶方式一致，而將真實感較高的CG合成到實拍影像中。

專利文獻(xiàn)1：日本特開2005-107968號公報

但是，在實拍影像中也有許多一邊移動攝像機(jī)一邊攝影的場景。為了對這樣的實拍影像合成CG以使得沒有別扭感，需要預(yù)先裝入程序、以使得CG在畫面上的描繪位置也匹配于移動攝像機(jī)帶來的實拍影像中的被攝體的相對于畫面的運(yùn)動而運(yùn)動。否則，會如盡管對應(yīng)于攝像機(jī)的運(yùn)動而實拍影像中的被攝體相對于畫面運(yùn)動，CG卻還留在畫面上的特定的位置這樣，在實拍影像與CG中在運(yùn)動中發(fā)生偏差、感到觀感上的別扭感。

但是，為了使CG匹配于實拍影像來運(yùn)動，而精確地調(diào)節(jié)CG的顯示定時和顯示位置、并裝入程序是困難的。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種合成裝置，對于一邊使攝像機(jī)移動一邊攝影的實拍影像，以盡量緩和觀感上的別扭感的方式生成CG，而生成真實感較高的合成影像。

為了解決上述問題，本發(fā)明的合成裝置的特征在于，具備：取得部，從由多個視頻幀構(gòu)成的數(shù)字流中取得表示各視頻幀的視頻幀識別碼，該視頻幀識別碼與表示對上述視頻幀進(jìn)行攝影的攝影狀況的參數(shù)建立了對應(yīng)；生成部，基于上述參數(shù)生成圖形，以將攝影狀況反映到顯示形態(tài)中；合成部，對于基于上述數(shù)字流的各視頻幀，將基于與表示該視頻幀的視頻幀識別碼建立了對應(yīng)的參數(shù)而生成的圖形依次合成。

根據(jù)本發(fā)明的合成裝置，由于按照視頻幀，將表示該視頻幀被攝影的狀況的參數(shù)建立對應(yīng)，所以在生成應(yīng)與視頻幀合成的CG時，通過基于該參數(shù)將攝影狀況反映到顯示形態(tài)中，能夠合成真實感較高的影像。

這里，所謂攝影狀況，是在攝影實拍影像時，攝像機(jī)被放置在哪里、朝向哪個方向等攝像機(jī)配置、以及照明被設(shè)置在哪里這樣的光源配置。

這里，也可以是，上述參數(shù)包括攝像機(jī)配置信息，該攝像機(jī)配置信息表示對由與該參數(shù)建立了對應(yīng)的視頻幀識別碼表示的視頻幀進(jìn)行攝影的攝像機(jī)的配置。

通過作為表示應(yīng)與視頻幀合成的CG的生成所需要的攝影狀況的參數(shù)而包括攝像機(jī)的配置，能夠使CG的運(yùn)動精確地匹配于因攝像機(jī)的配置變化而在畫面上運(yùn)動的實拍影像，所以能夠合成真實感較高的影像。

這里，也可以是，上述攝像機(jī)配置信息包括表示上述攝像機(jī)的攝影位置的攝影位置信息；由上述生成部進(jìn)行的上述圖形的生成，通過生成當(dāng)從由上述攝影位置信息表示的位置對在虛擬空間上形成的對象物進(jìn)行攝影時應(yīng)得到的圖像來進(jìn)行。

對于視頻幀識別碼，將表示攝影了該視頻幀的攝像機(jī)的攝影位置的攝影位置信息建立了對應(yīng)，在生成應(yīng)與該視頻幀合成的CG時，通過使虛擬空間上的攝像機(jī)的位置與由攝影位置信息表示的位置一致，能夠使實拍影像與CG的視點一致，所以能夠合成真實感較高的影像。

攝像機(jī)的攝影位置是表示攝像機(jī)的配置的最重要的要素。

這里，也可以是，上述數(shù)字流包括時間信息，該時間信息表示應(yīng)將由上述多個視頻幀識別碼表示的視頻幀分別顯示的定時；上述多個視頻幀識別碼與上述攝像機(jī)配置信息的對應(yīng)建立，通過將上述攝像機(jī)配置信息附加到上述時間信息中來進(jìn)行；上述合成裝置具備將上述數(shù)字流解碼的解碼部；上述解碼部從上述數(shù)字流中依次取得上述視頻幀識別碼及上述時間信息；在由該時間信息表示的定時，對由該視頻幀識別碼表示的視頻幀進(jìn)行解碼；每當(dāng)解碼時，將上述攝像機(jī)配置信息發(fā)送給上述生成部。

通過將為了生成應(yīng)與視頻幀合成的CG而需要的攝像機(jī)配置信息匹配于顯示視頻幀的定時發(fā)送給生成部，能夠使視頻幀與CG同步。

這里，也可以是，上述數(shù)字流還包括表示沒有與上述攝像機(jī)配置信息建立對應(yīng)的視頻幀的視頻幀識別碼；上述解碼部在從上述數(shù)字流取得的上述時間信息中附加了攝像機(jī)配置信息的情況下，將該攝像機(jī)配置信息發(fā)送給生成部；在上述時間信息中沒有附加攝像機(jī)配置信息的情況下，將之前剛發(fā)送給上述生成部的攝像機(jī)配置信息再次發(fā)送給上述生成部。