[發(fā)明專利]一種面向TCP實(shí)時(shí)視頻流的抗抖動(dòng)平滑方法及其系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010760117.5
• 申請(qǐng)日: 2020-07-31
• 公開(kāi)（公告）號(hào): CN111901678B
• 公開(kāi)（公告）日: 2022-08-23
• 發(fā)明（設(shè)計(jì)）人: 陳浩;張欣宇;馬展;朱勇
• 申請(qǐng)（專利權(quán)）人: 成都云格致力科技有限公司
• 主分類號(hào): H04N21/44
• 分類號(hào): H04N21/44;H04N21/442;H04N21/433;H04N21/4335;H04N21/647;H04N21/2187;H04L69/22
• 代理公司: 成都佳劃信知識(shí)產(chǎn)權(quán)代理有限公司 51266
• 代理人: 史姣姣

1.一種面向TCP實(shí)時(shí)視頻流的抗抖動(dòng)平滑方法，其特征在于，包括：

采集獲得實(shí)時(shí)的視頻流數(shù)據(jù)，并將視頻流數(shù)據(jù)轉(zhuǎn)換成視頻幀數(shù)據(jù)；所述視頻幀數(shù)據(jù)含有視頻幀大小和幀傳輸時(shí)間；

對(duì)視頻幀數(shù)據(jù)進(jìn)行解碼，得到解碼抖動(dòng)數(shù)據(jù)，并記錄抖動(dòng)解碼的解碼延遲抖動(dòng)時(shí)間；

根據(jù)視頻幀數(shù)據(jù)的視頻幀大小和幀傳輸時(shí)間進(jìn)行線性擬合，得到當(dāng)前的網(wǎng)絡(luò)吞吐量；

根據(jù)網(wǎng)絡(luò)吞吐量、視頻幀大小和幀傳輸時(shí)間構(gòu)建抖動(dòng)延遲模型，其表達(dá)式為：

其中，F(xiàn)_i表示第i個(gè)視頻幀的數(shù)據(jù)大小，T_i表示第i個(gè)視頻幀的收發(fā)時(shí)間差，表示線性擬合得到的網(wǎng)絡(luò)吞吐量，δ_ti表示第i個(gè)視頻幀實(shí)際與預(yù)估傳輸時(shí)間的差值，N表示滑動(dòng)窗內(nèi)統(tǒng)計(jì)數(shù)據(jù)的總幀數(shù)；μ表示滑動(dòng)窗內(nèi)實(shí)際與預(yù)估視頻幀傳輸時(shí)間差值的均值，σ表示滑動(dòng)窗內(nèi)實(shí)際與預(yù)估視頻幀傳輸時(shí)間差值的標(biāo)準(zhǔn)差；

根據(jù)公式(5)至公式(7)，求得網(wǎng)絡(luò)延遲抖動(dòng)時(shí)間t，其表達(dá)式為：

其中，F(xiàn)_max表示視頻幀的數(shù)據(jù)最大值，t_α/2表示網(wǎng)絡(luò)延遲抖動(dòng)時(shí)間的分布的臨界值；

疊加網(wǎng)絡(luò)延遲抖動(dòng)時(shí)間和解碼延遲抖動(dòng)時(shí)間，得到抖動(dòng)緩沖延遲時(shí)間；

根據(jù)視頻流數(shù)據(jù)的當(dāng)前時(shí)間和抖動(dòng)緩沖延遲時(shí)間，更新并輸出視頻幀數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的一種面向TCP實(shí)時(shí)視頻流的抗抖動(dòng)平滑方法，其特征在于，所述視頻幀數(shù)據(jù)的視頻幀大小和幀傳輸時(shí)間的線性擬合采用最小二乘法，其表達(dá)式為：

k＝A*A-N*B (3)

其中，A表示滑動(dòng)窗內(nèi)所有前后兩幀幀大小之差的求和，B表示滑動(dòng)窗內(nèi)所有前后兩幀幀大小之差平方的求和。

3.一種根據(jù)權(quán)利要求1～2任一項(xiàng)所述面向TCP實(shí)時(shí)視頻流的抗抖動(dòng)平滑方法的系統(tǒng)，其特征在于，包括：

數(shù)據(jù)預(yù)處理模塊，用于接收實(shí)時(shí)的視頻流，并利用傳輸協(xié)議解析和數(shù)據(jù)包重組獲得視頻流對(duì)應(yīng)的視頻流數(shù)據(jù)；

網(wǎng)絡(luò)吞吐量估計(jì)模塊，與數(shù)據(jù)預(yù)處理模塊連接，根據(jù)視頻幀數(shù)據(jù)的視頻幀大小和幀傳輸時(shí)間進(jìn)行線性擬合、并求得當(dāng)前的網(wǎng)絡(luò)吞吐量；

抖動(dòng)延遲建模模塊，分別與數(shù)據(jù)預(yù)處理模塊和網(wǎng)絡(luò)吞吐量估計(jì)模塊連接，利用網(wǎng)絡(luò)吞吐量、視頻幀大小和幀傳輸時(shí)間構(gòu)建、并輸出網(wǎng)絡(luò)延遲抖動(dòng)時(shí)間；

解碼模塊，與數(shù)據(jù)預(yù)處理模塊連接，并對(duì)視頻流數(shù)據(jù)進(jìn)行解碼，得到解碼抖動(dòng)數(shù)據(jù)；

智能抽幀渲染模塊，與解碼模塊和抖動(dòng)延遲建模模塊連接，疊加抖動(dòng)延遲建模模塊輸出的網(wǎng)絡(luò)延遲抖動(dòng)時(shí)間和解碼模塊的解碼延遲抖動(dòng)時(shí)間，得到抖動(dòng)緩沖延遲時(shí)間；

以及渲染緩沖區(qū)，與解碼模塊和智能抽幀渲染模塊連接，根據(jù)視頻流數(shù)據(jù)的當(dāng)前時(shí)間和抖動(dòng)緩沖延遲時(shí)間、并更新并輸出視頻幀數(shù)據(jù)。

4.根據(jù)權(quán)利要求3所述一種面向TCP實(shí)時(shí)視頻流的抗抖動(dòng)平滑方法的系統(tǒng)，其特征在于，還包括連接在數(shù)據(jù)預(yù)處理模塊與解碼模塊之間、用于臨時(shí)存儲(chǔ)數(shù)據(jù)預(yù)處理模塊傳輸?shù)囊曨l流數(shù)據(jù)的解碼緩沖區(qū)。