[發(fā)明專利]通過調(diào)整垂直消隱進(jìn)行視頻幀速率補(bǔ)償

有效

• 申請?zhí)枺?/td>: 201810201744.8
• 申請日: 2015-03-03
• 公開（公告）號: CN108449566B
• 公開（公告）日: 2020-06-23
• 發(fā)明（設(shè)計）人: R.R.科倫布蘭德
• 申請（專利權(quán)）人: 索尼互動娛樂有限責(zé)任公司
• 主分類號: H04N7/01
• 分類號: H04N7/01;H04N5/04;G09G5/00;G09G5/395;G06F3/14
• 代理公司: 北京市柳沈律師事務(wù)所 11105
• 代理人: 張曉明

本公開內(nèi)容的方面涉及被配置以響應(yīng)于由處理單元渲染的圖形內(nèi)容的源幀速率的波動而調(diào)整幀掃描輸出的定時的系統(tǒng)和方法。在某些實施中，在從幀緩沖器掃描輸出幀期間產(chǎn)生的垂直消隱間隔可響應(yīng)于檢測到的產(chǎn)生所述源內(nèi)容的所述幀速率的改變來調(diào)整。在某些實施中，渲染的圖形可通過網(wǎng)絡(luò)流式傳輸以實時在遠(yuǎn)程設(shè)備上顯示，且可調(diào)整幀的所述掃描輸出，以更好地使壓縮和流式傳輸?shù)乃鏊俾逝c所述源內(nèi)容的可變幀速率匹配。

本分案申請是申請日為2015年3月3日、申請?zhí)枮?01510094508.7、發(fā)明名稱為“通過調(diào)整垂直消隱進(jìn)行視頻幀速率補(bǔ)償”的分案申請。

優(yōu)先權(quán)請求

本申請請求在2014年3月12日提交的題為“VIDEO FRAME RATE COMPENSATIONTHROUGH ADJUSTMENT OF VERTICAL BLANKING”(代理人案卷號SCEA13043US00)的在共同轉(zhuǎn)讓給Roelof Roderick Colenbrander之前、共同未決的美國臨時申請?zhí)?1/951,729的權(quán)益，所述美國臨時申請的全部內(nèi)容以引用之方式并入本文。

技術(shù)領(lǐng)域

本公開內(nèi)容涉及圖形處理和視頻傳輸。本公開內(nèi)容的某些方面涉及當(dāng)壓縮并通過網(wǎng)絡(luò)流式傳輸渲染的圖形時進(jìn)行幀速率補(bǔ)償?shù)南到y(tǒng)和方法。

背景技術(shù)

渲染圖形以實時傳輸?shù)斤@示設(shè)備是復(fù)雜的過程，其并入許多精心開發(fā)的技術(shù)以確保新產(chǎn)生的幀被以適當(dāng)?shù)亩〞r從來源傳輸?shù)斤@示器。通常，該過程開始于通常為具有定制用于渲染任務(wù)的高度并行結(jié)構(gòu)的圖形處理單元(GPU)的處理單元將源內(nèi)容的每個新幀渲染到稱為幀緩沖器的存儲器的一部分。本文中被稱為“源幀”的源內(nèi)容的新產(chǎn)生幀每個都被按順序暫時存儲在幀緩沖器中作為具有限定所述特定幀中每個像素的視覺內(nèi)容的值的數(shù)組的圖像。當(dāng)這種情況發(fā)生時，在順序地將圖像驅(qū)動到顯示設(shè)備的過程中，這些圖像被掃描輸出幀緩沖器。同時，顯示設(shè)備傳統(tǒng)上使用被從幀緩沖器掃描輸出的圖像以固定頻率(稱為刷新速率)周期性地更新在屏幕上顯示的圖像。

為了將渲染的幀發(fā)送到顯示器，幀緩沖器中的圖像通常被逐行掃描輸出并被通過某一視頻接口連續(xù)地(按順序)傳輸?shù)斤@示設(shè)備。在掃描輸出期間，產(chǎn)生某些“不可見的”信號以管理傳輸過程，使得從幀緩沖器輸出的實際被傳輸?shù)斤@示設(shè)備的每個幀(本文中被稱為“輸出幀”)不僅包括幀的圖像的可見像素值，而且包括可被顯示設(shè)備用以解決如何將接收到的幀顯示在屏幕上的其它外部信號。這通常尤其包括在每個掃描輸出幀圖像之間脈沖的垂直同步信號。每個掃描輸出幀圖像之間(即，一個幀圖像的最后一行或像素與后續(xù)幀圖像的第一行或像素之間)的時間段被稱為“垂直消隱間隔”。這個垂直消隱間隔被產(chǎn)生作為掃描輸出過程的一部分，且這個垂直同步脈沖被用于進(jìn)行圖形源和顯示器之間的同步。

在掃描輸出期間垂直同步脈沖發(fā)生的頻率及因此垂直消隱間隔發(fā)生的頻率傳統(tǒng)上相對于顯示設(shè)備的刷新速率固定，使得從幀緩沖器掃描輸出的每個圖像與顯示器的每個刷新周期一致。如果原始圖形內(nèi)容的幀速率(即，新源幀被GPU拉到幀緩沖器的速率)與顯示器的刷新速率完全同步，那么被GPU拉到幀緩沖器的每個新源幀將1:1對應(yīng)于在顯示設(shè)備上呈現(xiàn)的每個圖像。例如，如果顯示設(shè)備的刷新速率為60Hz且GPU與顯示器的刷新周期同相地以60FPS的幀速率將新圖像渲染到幀緩沖器，那么被在顯示器的屏幕上更新的每個圖像將完全對應(yīng)于GPU產(chǎn)生的源幀。

然而，在實踐中，源內(nèi)容的幀速率經(jīng)常隨時間變化且可能例如基于當(dāng)前場景的復(fù)雜性或與幀的產(chǎn)生相關(guān)聯(lián)的其它因素而向上和向下波動。例如，如果視頻游戲的當(dāng)前狀態(tài)導(dǎo)致當(dāng)前視野中有過多虛擬對象或太多細(xì)節(jié)，那么幀速率可能由于渲染幀所需的增加的計算負(fù)荷而暫時下降。因此，被渲染到幀緩沖器的源內(nèi)容的幀速率可能與從這個緩沖器的幀的掃描輸出和顯示設(shè)備的相應(yīng)的刷新周期不同步。換句話說，被拉到幀緩沖器的每個“源幀”可能不完全對應(yīng)于被驅(qū)動到顯示設(shè)備的每個“輸出幀”。