[發明專利]一種面向TCP實時視頻流的抗抖動平滑方法及其系統

有效

• 申請號: 202010760117.5
• 申請日: 2020-07-31
• 公開（公告）號: CN111901678B
• 公開（公告）日: 2022-08-23
• 發明（設計）人: 陳浩;張欣宇;馬展;朱勇
• 申請（專利權）人: 成都云格致力科技有限公司
• 主分類號: H04N21/44
• 分類號: H04N21/44;H04N21/442;H04N21/433;H04N21/4335;H04N21/647;H04N21/2187;H04L69/22
• 代理公司: 成都佳劃信知識產權代理有限公司 51266
• 代理人: 史姣姣

本發明公開了一種面向TCP實時視頻流的抗抖動平滑方法，包括：將視頻流數據轉換成視頻幀數據；所述視頻幀數據含有視頻幀大小和幀傳輸時間；對視頻幀數據進行解碼，得到解碼抖動數據，并記錄抖動解碼的解碼延遲抖動時間；根據視頻幀數據的視頻幀大小和幀傳輸時間進行線性擬合，得到當前的網絡吞吐量；根據網絡吞吐量、視頻幀大小和幀傳輸時間構建抖動延遲模型，求得網絡延遲抖動時間；疊加網絡延遲抖動時間和解碼延遲抖動時間，得到抖動緩沖延遲時間；根據視頻流數據的當前時間和抖動緩沖延遲時間，更新并輸出視頻幀數據。通過上述方案，本發明具有邏輯簡單、平滑流暢播放、直播延遲最小化等優點。

技術領域

本發明涉及實時視頻流的抗抖動平滑優化技術領域，尤其是一種面向TCP實時視頻流的抗抖動平滑方法及其系統。

背景技術

目前，現有技術中的TCP視頻流抖動緩沖區的設計主要分為固定視頻緩沖區和基于卡爾曼濾波的動態抖動緩沖區兩類技術。其中，固定視頻緩沖區的緩沖區大小是相對固定的，引入視頻流的延遲非常大，不適用于實時視頻流場景的應用，且無法有效應對網絡的變化。如專利申請號為“200510100670.1”、專利名稱為“流媒體去抖動方法”的中國發明專利，其通過：申請一段固定長度的內存作為緩沖區；接收數據包并提取數據包的相關信息，根據相關信息在緩沖區內對數據包進行排序；若經過最小延遲值，則檢查緩沖區內的數據包是否符合提交條件，如果符合提交條件則向應用程序提交緩沖區內的數據包；否則繼續收包，直到緩沖區內的數據包符合提交條件才提交緩沖區內的數據包；若經過最大延遲值，則強制提交緩沖區內的數據包。但是，該技術存在以下問題：

當網絡抖動比較大，甚至存在丟包時，固定大小的緩沖區并不能滿足去除抖動的要求；而當網絡抖動比較小時，固定大小的緩沖區又會帶來額外的播放延遲和內存消耗。

另外，基于卡爾曼濾波的動態抖動緩沖區主要應用于基于UDP協議的WebRTC會話接收端。而在TCP協議的視頻傳輸下，由于TCP的ACK機制,數據包大小與傳輸時間不成正比。當直接使用卡爾曼濾波時，延遲抖動(Delay Jitter)模型的噪聲過大而使得卡爾曼濾波無法完全去除噪聲，無法精確地估計當前網絡吞吐量，造成延遲抖動估計頻繁變化和震蕩，在應用于實時視頻場景時不能達到良好效果，其正如專利申請號為“201810478342.2”、專利名稱為“一種去除網絡抖動的方法及裝置”的中國發明專利。

因此，急需要提出一種邏輯簡單、視頻平滑流程、延遲時間短的面向TCP實時視頻流的抗抖動平滑方法及其系統。

發明內容

針對上述問題，本發明的目的在于提供一種面向TCP實時視頻流的抗抖動平滑方法及其系統，其針對現有技術和方法無法解決高抖動網絡環境下，TCP實時視頻流難以達到保證最低播放延遲的情況下，平滑流暢播放視頻的問題，本發明采用的技術方案如下：

一種面向TCP實時視頻流的抗抖動平滑方法，包括：

采集獲得實時的視頻流數據，并將視頻流數據轉換成視頻幀數據；所述視頻幀數據含有視頻幀大小和幀傳輸時間；

對視頻幀數據進行解碼，得到解碼抖動數據，并記錄抖動解碼的解碼延遲抖動時間；

根據視頻幀數據的視頻幀大小和幀傳輸時間進行線性擬合，得到當前的網絡吞吐量；

根據網絡吞吐量、視頻幀大小和幀傳輸時間構建抖動延遲模型，其表達式為：

其中，F_i表示第i個視頻幀的數據大小，T_i表示第i個視頻幀的收發時間差，表示線性擬合得到的網絡吞吐量，δ_ti表示第i個視頻幀實際與預估傳輸時間的差值，N表示滑動窗內統計數據的總幀數；μ表示滑動窗內實際與預估視頻幀傳輸時間差值的均值，σ表示滑動窗內實際與預估視頻幀傳輸時間差值的標準差；