[發明專利]音視頻緩沖方法和裝置

有效

• 申請號: 201811440724.2
• 申請日: 2018-11-28
• 公開（公告）號: CN109379620B
• 公開（公告）日: 2021-02-05
• 發明（設計）人: 羅凱寧
• 申請（專利權）人: 廣州四三九九信息科技有限公司
• 主分類號: H04N21/43
• 分類號: H04N21/43;H04N21/439;H04N21/4402
• 代理公司: 北京超凡志成知識產權代理事務所(普通合伙) 11371
• 代理人: 唐維虎

1.一種音視頻緩沖方法，其特征在于，應用于客戶端，所述方法包括：

接收音視頻數據流；

提取所述音視頻數據流中的數據包，所述數據包包括音頻數據包和視頻數據包；

將所述音頻數據包和所述視頻數據包放入各自的解碼隊列；

對所述音頻數據包和所述視頻數據包，分別計算平滑RTT值和平滑JITTER值；

根據所述平滑RTT值和所述平滑JITTER值，計算滿足緩沖數量的數據包所需的接收時間；

根據所述接收時間，對所述解碼隊列中的音頻數據包和視頻數據包進行延時解碼。

2.根據權利要求1所述的方法，其特征在于，所述計算平滑RTT值包括：

根據接收的每個數據包的RTT，計算RTT的平均值U以及RTT的均方差值V；

通過對新接收的數據包的RTT、所述平均值U和所述均方差值V進行加權計算，獲得當前RTT；

根據所述當前RTT和上次計算的平均RTT更新當前的平均RTT，將所述當前的平均RTT作為平滑RTT值；

所述通過對新接收的數據包的RTT、所述平均值U和所述均方差值V進行加權平滑計算，獲得當前RTT包括：

當新接收到數據包時，如果RTT-U0，則當前RTT為U-((7*V)/8+(|RTT-U|)/8)；

如果RTT-U0，則當前RTT為U+((7*V)/8+(|RTT-U|)/8)。

3.根據權利要求1所述的方法，其特征在于，所述計算平滑JITTER值包括：

根據兩個相鄰的數據包的RTT計算JITTER；

根據每個JITTER，計算JITTER的平均值M以及JITTER的均方差值N；

通過對新接收的數據包的JITTER、所述平均值M和所述均方差值N進行加權計算，獲得當前JITTER；

根據所述當前JITTER和上次計算的平均JITTER更新當前的平均JITTER，將所述當前的平均JITTER作為平滑JITTER值。

4.根據權利要求1所述的方法，其特征在于，所述根據所述平滑RTT值和所述平滑JITTER值，計算滿足緩沖數量的數據包所需的接收時間包括：

根據解碼延遲和渲染延遲計算預計播放時間內可解碼播放的數據包的數量；

根據所述平滑RTT值、所述平滑JITTER值和所述數量計算接收時間。

5.根據權利要求1所述的方法，其特征在于，還包括：

當所述音頻數據包或所述視頻數據包的RTT超過閾值范圍時，丟棄所述RTT。

6.根據權利要求5所述的方法，其特征在于，還包括：

在等待所述接收時間后，未收到滿足緩沖數量的數據包時，進行指數退避；

當超過上限值時，丟棄過時的數據包并緩沖最新的數據包；或，重新進行拉流連接。

7.一種音視頻緩沖裝置，其特征在于，應用于客戶端，包括：

接收模塊，用于接收音視頻數據流；

提取模塊，用于提取所述音視頻數據流中的數據包，所述數據包包括音頻數據包和視頻數據包；

解碼隊列模塊，用于將所述音頻數據包和所述視頻數據包放入各自的解碼隊列；

延遲計算模塊，用于對所述音頻數據包和所述視頻數據包，分別計算平滑RTT值和平滑JITTER值；

接收時間計算模塊，用于根據所述平滑RTT值和所述平滑JITTER值，計算滿足緩沖數量的數據包所需的接收時間；

延時解碼模塊，用于根據所述接收時間，對所述解碼隊列中的音頻數據包和視頻數據包進行延時解碼。

8.根據權利要求7所述的裝置，其特征在于，所述延遲計算模塊還用于：

根據接收的每個數據包的RTT，計算RTT的平均值U以及RTT的均方差值V；

通過對新接收的數據包的RTT、所述平均值U和所述均方差值V進行加權計算，獲得當前RTT；

根據所述當前RTT和上次計算的平均RTT更新當前的平均RTT，將所述當前的平均RTT作為平滑RTT值；

所述延遲計算模塊還用于：

當新接收到數據包時，如果RTT-U0，則當前RTT為U-((7*V)/8+(|RTT-U|)/8)；

如果RTT-U0，則當前RTT為U+((7*V)/8+(|RTT-U|)/8)。