[發(fā)明專利]基于系統(tǒng)時鐘的視頻流幀時間戳的相關(guān)

有效

• 申請?zhí)枺?/td>: 201980034237.2
• 申請日: 2019-05-06
• 公開（公告）號: CN112154669B
• 公開（公告）日: 2022-10-21
• 發(fā)明（設(shè)計）人: S·卡里瓦拉達斯瓦米
• 申請（專利權(quán)）人: 微軟技術(shù)許可有限責(zé)任公司
• 主分類號: H04N13/167
• 分類號: H04N13/167;H04N21/242;H04N21/236;H04N5/08;H04N13/139;H04N21/43
• 代理公司: 北京世輝律師事務(wù)所 16093
• 代理人: 王俊

本文描述的方法被配置為將視頻流的幀與系統(tǒng)時鐘進行相關(guān)。相關(guān)器應(yīng)用經(jīng)由總線接口從捕獲設(shè)備接收視頻流的幀，該幀包括起始幀時間戳和結(jié)束幀時間戳，該起始幀時間戳和結(jié)束幀時間戳基于捕獲設(shè)備的設(shè)備時鐘。第二起始幀時間戳和第二結(jié)束幀時間戳基于先前接收的幀和系統(tǒng)時鐘而被預(yù)測。幀的扭斜值基于起始幀時間戳和結(jié)束幀時間戳之間的差而被計算。在所計算的扭斜值超過扭斜閾值時，幀被校正以與預(yù)測的起始幀時間戳和結(jié)束幀時間戳向。經(jīng)校正的幀然后被提供以用于顯示。以所描述的方式校正視頻流幀的時間戳減少抖動并且實現(xiàn)多個視頻流的準確同步。

技術(shù)領(lǐng)域

本發(fā)明的實施例總體上涉及計算機技術(shù)領(lǐng)域，并且具體地涉及用于基于系統(tǒng)時鐘的視頻流幀時間戳的相關(guān)的系統(tǒng)、方法和一種或多種設(shè)備。

背景技術(shù)

現(xiàn)代視頻捕獲設(shè)備使用各種不同類型的技術(shù)來捕獲、處理、和發(fā)送或以其他方式傳送捕獲的視頻數(shù)據(jù)。視頻捕獲設(shè)備可以被設(shè)計為主要捕獲可見光視頻、基于深度的視頻、基于紅外的視頻或其組合。但是，在某些情況下，視頻捕獲設(shè)備用來處理和/或傳送捕獲的視頻數(shù)據(jù)的技術(shù)限制了所得視頻流的質(zhì)量和/或?qū)τ^看所得視頻流的用戶體驗產(chǎn)生了負面影響。視頻捕獲設(shè)備的設(shè)備時鐘可能會漂移，從而導(dǎo)致視頻流中出現(xiàn)時間失真或“抖動”，視頻處理操作可能會導(dǎo)致視頻流扭斜而不同步，和/或通信總線或其他介質(zhì)可能提供與在傳送的另一端向用戶提供高質(zhì)量視頻流所必需的相比可靠更低的數(shù)據(jù)傳送。例如，使用通用串行總線(USB)技術(shù)來傳送視頻流的幀有可能會帶來與傳送后視頻流中幀的準確時序相關(guān)聯(lián)的各種挑戰(zhàn)。

當多個視頻流被組合以形成三維視頻流、具有多個視點的視頻流等時，這些挑戰(zhàn)變得更加復(fù)雜。同步每個視頻流需要每個幀的極其準確的時序，并且每個視頻流可能由不同的視頻捕獲設(shè)備捕獲，每個設(shè)備都具有獨特的一組技術(shù)，這些技術(shù)必須被考慮以便將視頻流與共享的時間幀進行相關(guān)。提供用于觀看的組合視頻流而沒有明顯的時間失真、抖動或引起負面用戶體驗的其他問題是一項艱巨的任務(wù)。

發(fā)明內(nèi)容

提供本發(fā)明內(nèi)容是為了以簡化的形式介紹一些概念，這些概念將在下面的具體實施方式中進一步描述。本發(fā)明內(nèi)容不旨在標識所要求保護的主題的關(guān)鍵特征或必要特征，也不旨在用于幫助限制所要求保護的主題的范圍。

一種計算機化方法，包括：經(jīng)由總線接口從捕獲設(shè)備接收視頻流的幀，該幀包括第一起始幀時間戳和第一結(jié)束幀時間戳，該第一起始幀時間戳和第一結(jié)束幀時間戳基于與捕獲設(shè)備關(guān)聯(lián)的設(shè)備時鐘。基于視頻流的多個先前接收的幀，與所接收的幀相關(guān)聯(lián)的第二起始幀時間戳和第二結(jié)束幀時間戳被預(yù)測。該第二起始幀時間戳和第二結(jié)束幀時間戳還基于與顯示系統(tǒng)關(guān)聯(lián)的系統(tǒng)時鐘。基于第一起始幀時間戳與第二起始幀時間戳之間的差以及第一結(jié)束幀時間戳與第二結(jié)束幀時間戳之間的差，所接收的幀的扭斜值(skew value)被計算。在所計算的扭斜值超過扭斜閾值時，所接收的幀被校正，以與第二起始幀時間戳和第二結(jié)束幀時間戳進行相關(guān)。然后經(jīng)校正的視頻流被提供以用于顯示。

通過參考結(jié)合附圖所考慮的以下具體實施方式，將更好地理解許多附帶特征，因為它們將變得更好理解。

附圖說明

圖1是示出了根據(jù)實施例的包括計算設(shè)備和被配置為捕獲視頻流并且將視頻流的幀進行相關(guān)的視頻捕獲設(shè)備的系統(tǒng)的示例性框圖。

圖2是示出了根據(jù)實施例的幀從視頻捕獲設(shè)備被傳送到計算設(shè)備的示例性框圖；

圖3是示出了根據(jù)實施例的計算設(shè)備接收幀并且基于預(yù)測的時間戳將幀進行相關(guān)的操作的示例性流程圖；

圖4是示出了根據(jù)實施例的計算設(shè)備接收多個視頻流的幀，將所接收的幀進行相關(guān)，并且將多個視頻流組合成組合視頻流的操作的示例性流程圖；

圖5將根據(jù)實施例的計算裝置示出為功能框圖。

在所有的附圖中對應(yīng)的附圖標記指示對應(yīng)的部件。在圖1至圖5中，系統(tǒng)被示出為示意圖。附圖可能未按比例繪制。

具體實施方式