[發(fā)明專(zhuān)利]通過(guò)調(diào)整垂直消隱進(jìn)行視頻幀速率補(bǔ)償

有效

• 申請(qǐng)?zhí)枺?/td>: 201810201744.8
• 申請(qǐng)日: 2015-03-03
• 公開(kāi)（公告）號(hào): CN108449566B
• 公開(kāi)（公告）日: 2020-06-23
• 發(fā)明（設(shè)計(jì)）人: R.R.科倫布蘭德
• 申請(qǐng)（專(zhuān)利權(quán)）人: 索尼互動(dòng)娛樂(lè)有限責(zé)任公司
• 主分類(lèi)號(hào): H04N7/01
• 分類(lèi)號(hào): H04N7/01;H04N5/04;G09G5/00;G09G5/395;G06F3/14
• 代理公司: 北京市柳沈律師事務(wù)所 11105
• 代理人: 張曉明

本公開(kāi)內(nèi)容的方面涉及被配置以響應(yīng)于由處理單元渲染的圖形內(nèi)容的源幀速率的波動(dòng)而調(diào)整幀掃描輸出的定時(shí)的系統(tǒng)和方法。在某些實(shí)施中，在從幀緩沖器掃描輸出幀期間產(chǎn)生的垂直消隱間隔可響應(yīng)于檢測(cè)到的產(chǎn)生所述源內(nèi)容的所述幀速率的改變來(lái)調(diào)整。在某些實(shí)施中，渲染的圖形可通過(guò)網(wǎng)絡(luò)流式傳輸以實(shí)時(shí)在遠(yuǎn)程設(shè)備上顯示，且可調(diào)整幀的所述掃描輸出，以更好地使壓縮和流式傳輸?shù)乃鏊俾逝c所述源內(nèi)容的可變幀速率匹配。

本分案申請(qǐng)是申請(qǐng)日為2015年3月3日、申請(qǐng)?zhí)枮?01510094508.7、發(fā)明名稱(chēng)為“通過(guò)調(diào)整垂直消隱進(jìn)行視頻幀速率補(bǔ)償”的分案申請(qǐng)。

優(yōu)先權(quán)請(qǐng)求

本申請(qǐng)請(qǐng)求在2014年3月12日提交的題為“VIDEO FRAME RATE COMPENSATIONTHROUGH ADJUSTMENT OF VERTICAL BLANKING”(代理人案卷號(hào)SCEA13043US00)的在共同轉(zhuǎn)讓給Roelof Roderick Colenbrander之前、共同未決的美國(guó)臨時(shí)申請(qǐng)?zhí)?1/951,729的權(quán)益，所述美國(guó)臨時(shí)申請(qǐng)的全部?jī)?nèi)容以引用之方式并入本文。

技術(shù)領(lǐng)域

本公開(kāi)內(nèi)容涉及圖形處理和視頻傳輸。本公開(kāi)內(nèi)容的某些方面涉及當(dāng)壓縮并通過(guò)網(wǎng)絡(luò)流式傳輸渲染的圖形時(shí)進(jìn)行幀速率補(bǔ)償?shù)南到y(tǒng)和方法。

背景技術(shù)

渲染圖形以實(shí)時(shí)傳輸?shù)斤@示設(shè)備是復(fù)雜的過(guò)程，其并入許多精心開(kāi)發(fā)的技術(shù)以確保新產(chǎn)生的幀被以適當(dāng)?shù)亩〞r(shí)從來(lái)源傳輸?shù)斤@示器。通常，該過(guò)程開(kāi)始于通常為具有定制用于渲染任務(wù)的高度并行結(jié)構(gòu)的圖形處理單元(GPU)的處理單元將源內(nèi)容的每個(gè)新幀渲染到稱(chēng)為幀緩沖器的存儲(chǔ)器的一部分。本文中被稱(chēng)為“源幀”的源內(nèi)容的新產(chǎn)生幀每個(gè)都被按順序暫時(shí)存儲(chǔ)在幀緩沖器中作為具有限定所述特定幀中每個(gè)像素的視覺(jué)內(nèi)容的值的數(shù)組的圖像。當(dāng)這種情況發(fā)生時(shí)，在順序地將圖像驅(qū)動(dòng)到顯示設(shè)備的過(guò)程中，這些圖像被掃描輸出幀緩沖器。同時(shí)，顯示設(shè)備傳統(tǒng)上使用被從幀緩沖器掃描輸出的圖像以固定頻率(稱(chēng)為刷新速率)周期性地更新在屏幕上顯示的圖像。

為了將渲染的幀發(fā)送到顯示器，幀緩沖器中的圖像通常被逐行掃描輸出并被通過(guò)某一視頻接口連續(xù)地(按順序)傳輸?shù)斤@示設(shè)備。在掃描輸出期間，產(chǎn)生某些“不可見(jiàn)的”信號(hào)以管理傳輸過(guò)程，使得從幀緩沖器輸出的實(shí)際被傳輸?shù)斤@示設(shè)備的每個(gè)幀(本文中被稱(chēng)為“輸出幀”)不僅包括幀的圖像的可見(jiàn)像素值，而且包括可被顯示設(shè)備用以解決如何將接收到的幀顯示在屏幕上的其它外部信號(hào)。這通常尤其包括在每個(gè)掃描輸出幀圖像之間脈沖的垂直同步信號(hào)。每個(gè)掃描輸出幀圖像之間(即，一個(gè)幀圖像的最后一行或像素與后續(xù)幀圖像的第一行或像素之間)的時(shí)間段被稱(chēng)為“垂直消隱間隔”。這個(gè)垂直消隱間隔被產(chǎn)生作為掃描輸出過(guò)程的一部分，且這個(gè)垂直同步脈沖被用于進(jìn)行圖形源和顯示器之間的同步。

在掃描輸出期間垂直同步脈沖發(fā)生的頻率及因此垂直消隱間隔發(fā)生的頻率傳統(tǒng)上相對(duì)于顯示設(shè)備的刷新速率固定，使得從幀緩沖器掃描輸出的每個(gè)圖像與顯示器的每個(gè)刷新周期一致。如果原始圖形內(nèi)容的幀速率(即，新源幀被GPU拉到幀緩沖器的速率)與顯示器的刷新速率完全同步，那么被GPU拉到幀緩沖器的每個(gè)新源幀將1:1對(duì)應(yīng)于在顯示設(shè)備上呈現(xiàn)的每個(gè)圖像。例如，如果顯示設(shè)備的刷新速率為60Hz且GPU與顯示器的刷新周期同相地以60FPS的幀速率將新圖像渲染到幀緩沖器，那么被在顯示器的屏幕上更新的每個(gè)圖像將完全對(duì)應(yīng)于GPU產(chǎn)生的源幀。

然而，在實(shí)踐中，源內(nèi)容的幀速率經(jīng)常隨時(shí)間變化且可能例如基于當(dāng)前場(chǎng)景的復(fù)雜性或與幀的產(chǎn)生相關(guān)聯(lián)的其它因素而向上和向下波動(dòng)。例如，如果視頻游戲的當(dāng)前狀態(tài)導(dǎo)致當(dāng)前視野中有過(guò)多虛擬對(duì)象或太多細(xì)節(jié)，那么幀速率可能由于渲染幀所需的增加的計(jì)算負(fù)荷而暫時(shí)下降。因此，被渲染到幀緩沖器的源內(nèi)容的幀速率可能與從這個(gè)緩沖器的幀的掃描輸出和顯示設(shè)備的相應(yīng)的刷新周期不同步。換句話(huà)說(shuō)，被拉到幀緩沖器的每個(gè)“源幀”可能不完全對(duì)應(yīng)于被驅(qū)動(dòng)到顯示設(shè)備的每個(gè)“輸出幀”。