[發(fā)明專利]音視頻緩沖方法和裝置

有效

• 申請?zhí)枺?/td>: 201811440724.2
• 申請日: 2018-11-28
• 公開（公告）號: CN109379620B
• 公開（公告）日: 2021-02-05
• 發(fā)明（設(shè)計）人: 羅凱寧
• 申請（專利權(quán)）人: 廣州四三九九信息科技有限公司
• 主分類號: H04N21/43
• 分類號: H04N21/43;H04N21/439;H04N21/4402
• 代理公司: 北京超凡志成知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11371
• 代理人: 唐維虎

本發(fā)明提供了一種音視頻緩沖方法和裝置，涉及流媒體技術(shù)領(lǐng)域，該方法包括：接收音視頻數(shù)據(jù)流；提取音視頻數(shù)據(jù)流中的數(shù)據(jù)包，數(shù)據(jù)包包括音頻數(shù)據(jù)包和視頻數(shù)據(jù)包；將音頻數(shù)據(jù)包和視頻數(shù)據(jù)包放入各自的解碼隊(duì)列；對音頻數(shù)據(jù)包和視頻數(shù)據(jù)包，分別計算平滑RTT值和平滑JITTER值；根據(jù)平滑RTT值和平滑JITTER值，計算滿足緩沖數(shù)量的數(shù)據(jù)包所需的接收時間；根據(jù)接收時間，對解碼隊(duì)列中的音頻數(shù)據(jù)包和視頻數(shù)據(jù)包進(jìn)行延時解碼。本發(fā)明提供的音視頻緩沖方法和裝置，可以使播放器能平滑、連續(xù)、同步地播放音視頻媒體流。

技術(shù)領(lǐng)域

本發(fā)明涉及流媒體技術(shù)領(lǐng)域，尤其是涉及一種音視頻緩沖方法和裝置。

背景技術(shù)

互聯(lián)網(wǎng)環(huán)境可以分為兩種，一種是廣域網(wǎng)，另一種是局域網(wǎng)，數(shù)據(jù)包在廣域網(wǎng)上的傳輸效率比局域網(wǎng)低得多。在局域網(wǎng)中，網(wǎng)絡(luò)環(huán)境十分簡單，在一個網(wǎng)關(guān)(路由器)下形成一個網(wǎng)絡(luò)或一個子網(wǎng)，其下面連接著數(shù)十臺或數(shù)百臺主機(jī)，主機(jī)之間通過這個網(wǎng)關(guān)互相傳輸數(shù)據(jù)，效率十分高。但在廣域網(wǎng)下，網(wǎng)絡(luò)環(huán)境就變得十分復(fù)雜，它由成百上千個網(wǎng)關(guān)節(jié)點(diǎn)互相連接而成的一個龐大的網(wǎng)絡(luò)，其中還包含防火墻，代理等一些特殊的節(jié)點(diǎn)，數(shù)據(jù)包從某個子網(wǎng)下的主機(jī)傳輸?shù)搅硪欢俗泳W(wǎng)的主機(jī)，中間會經(jīng)過若干個這些節(jié)點(diǎn)，在傳輸過程中，數(shù)據(jù)包在每個傳輸節(jié)點(diǎn)的處理都會帶來延遲，而且很可能還會丟失(丟失原因有很多，例如節(jié)點(diǎn)處理不過來，緩沖隊(duì)列滿了，防火墻過濾等)，所以流媒體數(shù)據(jù)在這樣的環(huán)境下傳輸會有延遲，造成流媒體數(shù)據(jù)的傳輸率跟不上播放率導(dǎo)致播放卡頓，聲畫不同步。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的目的在于提供一種音視頻緩沖方法和裝置，以減少直播時緩沖、卡頓和聲畫不同步的發(fā)生。

第一方面，本發(fā)明實(shí)施例提供了一種音視頻緩沖方法，應(yīng)用于客戶端，該方法包括：接收音視頻數(shù)據(jù)流；提取音視頻數(shù)據(jù)流中的數(shù)據(jù)包，數(shù)據(jù)包包括音頻數(shù)據(jù)包和視頻數(shù)據(jù)包；將音頻數(shù)據(jù)包和視頻數(shù)據(jù)包放入各自的解碼隊(duì)列；對音頻數(shù)據(jù)包和視頻數(shù)據(jù)包，分別計算平滑RTT值和平滑JITTER值；根據(jù)平滑RTT值和平滑JITTER值，計算滿足緩沖數(shù)量的數(shù)據(jù)包所需的接收時間；根據(jù)接收時間，對解碼隊(duì)列中的音頻數(shù)據(jù)包和視頻數(shù)據(jù)包進(jìn)行延時解碼。

結(jié)合第一方面，本發(fā)明實(shí)施例提供了第一方面的第一種可能的實(shí)施方式，其中，計算平滑RTT值包括：根據(jù)接收的每個數(shù)據(jù)包的RTT，計算RTT的平均值U以及RTT的均方差值V；通過對新接收的數(shù)據(jù)包的RTT、平均值U和均方差值V進(jìn)行加權(quán)計算，獲得當(dāng)前RTT；根據(jù)當(dāng)前RTT和上次計算的平均RTT更新當(dāng)前的平均RTT，將當(dāng)前的平均RTT作為平滑RTT值。

結(jié)合第一方面的第一種可能的實(shí)施方式，本發(fā)明實(shí)施例提供了第一方面的第二種可能的實(shí)施方式，其中，通過對新接收的數(shù)據(jù)包的RTT、平均值U和均方差值V進(jìn)行加權(quán)平滑計算，獲得當(dāng)前RTT包括：當(dāng)新接收到數(shù)據(jù)包時，如果RTT-U0，則當(dāng)前RTT為U-((7*V)/8+(|RTT-U|)/8)；如果RTT-U0，則當(dāng)前RTT為U+((7*V)/8+(|RTT-U|)/8)。

結(jié)合第一方面，本發(fā)明實(shí)施例提供了第一方面的第三種可能的實(shí)施方式，其中，計算平滑JITTER值包括：根據(jù)兩個相鄰的數(shù)據(jù)包的RTT計算JITTER；根據(jù)每個JITTER，計算JITTER的平均值M以及JITTER的均方差值N；通過對新接收的數(shù)據(jù)包的JITTER、平均值M和均方差值N進(jìn)行加權(quán)計算，獲得當(dāng)前JITTER；根據(jù)當(dāng)前JITTER和上次計算的平均JITTER更新當(dāng)前的平均JITTER，將當(dāng)前的平均JITTER作為平滑JITTER值。

結(jié)合第一方面，本發(fā)明實(shí)施例提供了第一方面的第四種可能的實(shí)施方式，其中，根據(jù)平滑RTT值和平滑JITTER值，計算滿足緩沖數(shù)量的數(shù)據(jù)包所需的接收時間包括：根據(jù)解碼延遲和渲染延遲計算預(yù)計播放時間內(nèi)可解碼播放的數(shù)據(jù)包的數(shù)量；根據(jù)平滑RTT值、平滑JITTER值和數(shù)量計算接收時間。

結(jié)合第一方面，本發(fā)明實(shí)施例提供了第一方面的第五種可能的實(shí)施方式，還包括：當(dāng)音頻數(shù)據(jù)包或視頻數(shù)據(jù)包的RTT超過閾值范圍時，丟棄RTT。