[發(fā)明專利]一種實時視頻處理方法及裝置

在審

• 申請?zhí)枺?/td>: 201810040486.X
• 申請日: 2018-01-16
• 公開（公告）號: CN108174164A
• 公開（公告）日: 2018-06-15
• 發(fā)明（設(shè)計）人: 張光
• 申請（專利權(quán)）人: 北京三體云聯(lián)科技有限公司
• 主分類號: H04N7/18
• 分類號: H04N7/18;H04N21/2187;H04N21/434;H04N21/643;H04N21/647
• 代理公司: 北京超凡志成知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11371
• 代理人: 郭新娟

本發(fā)明提供一種實時視頻處理方法及裝置，該方法包括：發(fā)送端采集當(dāng)前視頻幀；檢測當(dāng)前是否存在觸發(fā)控制事件；若存在，獲取觸發(fā)控制事件對應(yīng)的控制信令，將控制信令插入當(dāng)前視頻幀，傳輸插入后的當(dāng)前視頻幀給接收端；若不存在，直接傳輸當(dāng)前視頻幀給接收端。接收端接收發(fā)送端傳輸?shù)漠?dāng)前視頻幀；確定當(dāng)前視頻幀是否包含控制信令；如果是，根據(jù)控制信令播放當(dāng)前視頻幀；如果否，直接播放當(dāng)前視頻幀。本發(fā)明中發(fā)送端將控制信令插入視頻幀中，使控制信令同視頻幀同時到達(dá)接收端。在接收端實現(xiàn)視頻渲染與控制信令同步。控制信令由用戶主動觸發(fā)的觸發(fā)控制事件觸發(fā)，增加發(fā)送端與接收端雙方用戶的交互手段，提高了實時視頻中用戶的參與度及體驗度。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，具體而言，涉及一種實時視頻處理方法及裝置。

背景技術(shù)

目前，在監(jiān)控系統(tǒng)及即時通訊等各個應(yīng)用領(lǐng)域中都需要進(jìn)行實時視頻的傳輸，發(fā)送端在傳輸實時視頻的同時還需要傳輸控制信令，以使接收端根據(jù)控制信令處理實時視頻。

當(dāng)前，相關(guān)技術(shù)中傳輸實時視頻時，視頻流與控制信令是在不同通道分別進(jìn)行傳輸?shù)摹Ｍㄟ^不同通道傳輸很難確保視頻流與其對應(yīng)的控制信令同時到達(dá)接收端。為了實現(xiàn)視頻流與控制信令的同步，相關(guān)技術(shù)中添加了緩沖區(qū)，并進(jìn)行時間戳同步，但在實時視頻交互場景下，會造成更高的時間延遲。而且基于UDP(User Datagram Protocol，用戶數(shù)據(jù)報協(xié)議)傳輸視頻流及控制信令時，必然存在丟包現(xiàn)象，為了保證視頻流與其對應(yīng)的控制信令均能到達(dá)接收端，也會相應(yīng)的增加程序設(shè)計以及實現(xiàn)的復(fù)雜度。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明實施例的目的在于提供一種實時視頻處理方法及裝置，以解決現(xiàn)有技術(shù)中視頻流與控制信令在不同通道分別傳輸，導(dǎo)致視頻流與控制信令不同步的問題。

第一方面，本發(fā)明實施例提供了一種實時視頻處理方法，所述方法包括：

采集當(dāng)前視頻幀；

檢測當(dāng)前是否存在觸發(fā)控制事件；

若檢測到觸發(fā)控制事件，則獲取所述觸發(fā)控制事件對應(yīng)的控制信令，將所述控制信令插入所述當(dāng)前視頻幀中，傳輸插入操作后的所述當(dāng)前視頻幀給接收端；

若未檢測到觸發(fā)控制事件，則直接傳輸所述當(dāng)前視頻幀給接收端。

結(jié)合第一方面，本發(fā)明實施例提供了上述第一方面的第一種可能的實現(xiàn)方式，其中，所述將所述控制信令插入所述當(dāng)前視頻幀中，包括：

解析所述當(dāng)前視頻幀，從所述當(dāng)前視頻幀中定位出補(bǔ)充增強(qiáng)信息單元SEI；

將所述控制信令插入所述SEI中。

結(jié)合第一方面，本發(fā)明實施例提供了上述第一方面的第二種可能的實現(xiàn)方式，其中，所述觸發(fā)控制事件為預(yù)設(shè)用戶行為；所述檢測當(dāng)前是否存在觸發(fā)控制事件，包括：

識別所述當(dāng)前視頻幀包含的用戶圖像；

提取所述用戶圖像的圖像特征；

根據(jù)所述圖像特征，確定所述用戶圖像中是否存在預(yù)設(shè)用戶行為；

如果是，則確定當(dāng)前存在觸發(fā)控制事件；如果否，則確定當(dāng)前不存在觸發(fā)控制事件。

結(jié)合第一方面，本發(fā)明實施例提供了上述第一方面的第三種可能的實現(xiàn)方式，其中，所述觸發(fā)控制事件為存在響度大于預(yù)設(shè)分貝閾值的聲音；所述檢測當(dāng)前是否存在觸發(fā)控制事件，包括：

采集所述當(dāng)前視頻幀的同時，錄制所述當(dāng)前視頻幀對應(yīng)的音頻文件；

判斷所述音頻文件包含的聲音的響度是否大于所述預(yù)設(shè)分貝閾值；

如果是，則確定當(dāng)前存在觸發(fā)控制事件；如果否，則確定當(dāng)前不存在觸發(fā)控制事件。