[發(fā)明專利]用于使用內(nèi)容信息改進(jìn)視頻編碼的系統(tǒng)和方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201310460985.1
• 申請(qǐng)日: 2013-09-30
• 公開(kāi)（公告）號(hào): CN103716643A
• 公開(kāi)（公告）日: 2014-04-09
• 發(fā)明（設(shè)計(jì)）人: 哈桑·S·阿扎爾;戴維·帕榮克;斯瓦格特·莫哈帕特拉;斯特凡·埃卡特;布里爾·杜達(dá)什
• 申請(qǐng)（專利權(quán)）人: 輝達(dá)公司
• 主分類號(hào): H04N19/61
• 分類號(hào): H04N19/61;G06T19/00
• 代理公司: 北京市磐華律師事務(wù)所 11336
• 代理人: 謝栒;董巍

相關(guān)申請(qǐng)的交叉引用

本申請(qǐng)要求于2012年10月1日由Azar等人所提交的序列號(hào)為13/632,210的、標(biāo)題為“SYSTEM?AND?METHOD?FOR?IMPROVING?VIDEO?ENCODING?USING?CONTENT?INFORMATION”的美國(guó)申請(qǐng)的優(yōu)先權(quán)，在先申請(qǐng)與本申請(qǐng)共同受讓，并在本文通過(guò)援引的方式加以合并。

技術(shù)領(lǐng)域

本申請(qǐng)總地涉及計(jì)算機(jī)生成的視頻，并且更具體地，涉及使用內(nèi)容信息改進(jìn)計(jì)算機(jī)生成的視頻編碼。

背景技術(shù)

許多消費(fèi)級(jí)以及專業(yè)級(jí)設(shè)備中部署的視頻技術(shù)依靠一個(gè)或多個(gè)視頻處理器以產(chǎn)生用于顯示的視頻信號(hào)。這在視頻游戲應(yīng)用中尤其如此。

并入現(xiàn)代視頻處理器的更普遍的特征之一是強(qiáng)大的實(shí)時(shí)視頻壓縮的實(shí)現(xiàn)。視頻壓縮，或視頻編碼，典型地將一個(gè)視頻與下一個(gè)在幀之間相比較并僅發(fā)送差異。如果視頻具有少量的運(yùn)動(dòng)那么這種編碼工作良好。例如文本的靜止幀幾乎不傳送數(shù)據(jù)即可重復(fù)。在運(yùn)動(dòng)越多的視頻的部位中，從一個(gè)幀改變到下一個(gè)幀的像素也越多，并且因此視頻壓縮方案必須發(fā)送越多的數(shù)據(jù)以適應(yīng)越多的改變像素。

通常，最引人注目的視頻內(nèi)容在幀之間具有大量的差異（例如大量的運(yùn)動(dòng)、爆炸等）。典型地要求非常強(qiáng)大的視頻處理架構(gòu)以處置這種劇烈變化的視頻。這種視頻通常具有很多高頻細(xì)節(jié)，并且為了維持幀率，視頻處理器或降低視頻質(zhì)量，或增加視頻的位速率以采用與先前幀相同級(jí)別的細(xì)節(jié)來(lái)渲染此增加的信息。

發(fā)明內(nèi)容

一個(gè)方面提供用于將視頻數(shù)據(jù)的幀編碼的方法。方法包括從應(yīng)用接收要編碼的視頻數(shù)據(jù)的幀和與視頻數(shù)據(jù)的幀的內(nèi)容相關(guān)的內(nèi)容信息。方法還包括將內(nèi)容信息變換成編碼器控制信息。方法進(jìn)一步包括基于編碼器控制信息改變視頻數(shù)據(jù)的幀的編碼。

另一方面提供視頻編碼系統(tǒng)。系統(tǒng)包括編碼引擎和變換函數(shù)。編碼引擎配置為接收表示視頻數(shù)據(jù)的幀的信號(hào)并產(chǎn)生與視頻數(shù)據(jù)的幀相關(guān)的經(jīng)編碼信息。變換函數(shù)配置為接收表示與視頻數(shù)據(jù)的幀的內(nèi)容相關(guān)的內(nèi)容信息的信號(hào)并將內(nèi)容信息變換成編碼器控制信息。變換函數(shù)進(jìn)一步配置為使用編碼器控制信息控制編碼引擎的操作。

又一方面提供產(chǎn)生經(jīng)編碼的視頻流的三維（3D）建模系統(tǒng)。系統(tǒng)包括內(nèi)容引擎、渲染器和視頻編碼器。渲染器配置為從內(nèi)容引擎接收與3D模型相關(guān)的信息并產(chǎn)生相對(duì)應(yīng)的二維（2D）圖像。視頻編碼器配置為接收來(lái)自渲染器的2D圖像并產(chǎn)生相對(duì)應(yīng)的經(jīng)編碼的視頻流。視頻編碼器進(jìn)一步配置為從內(nèi)容引擎接收與2D圖像相關(guān)的內(nèi)容信息、將內(nèi)容信息變換成編碼器控制信息以及根據(jù)編碼器控制信息控制2D圖像的編碼。

附圖說(shuō)明

現(xiàn)在結(jié)合附圖參考下面的描述，其中：

圖1是游戲系統(tǒng)的框圖；

圖2是根據(jù)本公開(kāi)的游戲系統(tǒng)的框圖；以及

圖3是根據(jù)本公開(kāi)的編碼器的框圖。

具體實(shí)施方式

圖1是游戲系統(tǒng)100的框圖。雖然本公開(kāi)描述游戲系統(tǒng)，但應(yīng)理解的是可在產(chǎn)生經(jīng)編碼的視頻流的其他3D建模系統(tǒng)中找到本公開(kāi)的各方面。

內(nèi)容引擎102或其他應(yīng)用產(chǎn)生三維（3D）模型104（或場(chǎng)景文件）到渲染器106。內(nèi)容引擎102可提供用于游玩視頻游戲的實(shí)時(shí)處理功能性，諸如用戶輸入/輸出、物理引擎、動(dòng)畫(huà)、人工智能、場(chǎng)景圖以及其他功能。3D模型104可包括信息諸如虛擬場(chǎng)景的描述中的幾何體、視點(diǎn)、紋理、照明以及陰影信息。

渲染器106接收3D模型104并產(chǎn)生相對(duì)應(yīng)的二維（2D）圖像108。典型地，渲染器106以適合用于視頻顯示的速率產(chǎn)生新2D圖像108。編碼器110接收2D圖像108并產(chǎn)生經(jīng)編碼的視頻流112。視頻流112適合用于在視頻顯示設(shè)備上立即觀看或適合用于在模擬或數(shù)字記錄介質(zhì)上記錄而用于稍后觀看。

視頻流112典型地包括I（幀內(nèi)）幀、P（預(yù)測(cè)）幀和B（雙向）幀。I幀包含描述單個(gè)2D圖像108的必要的所有數(shù)據(jù)并起到稱作“圖片組”（GOP）結(jié)構(gòu)的第一元素的作用。I幀和P幀描述2D圖像108和先前或后續(xù)I幀或P幀之間的差異。

編碼器110可通過(guò)由從渲染器106所接收的2D圖像108生成差異幀來(lái)開(kāi)始。差異幀典型地通過(guò)將2D圖像108與先前視頻幀相比較來(lái)生成。差異幀典型地通過(guò)將2D圖像108分成宏塊來(lái)生成，這些宏塊是鄰近像素的固定大小的正方形或矩形的合集。