[發(fā)明專利]數(shù)據(jù)流處理方法、裝置及存儲介質(zhì)、終端設(shè)備

有效

• 申請?zhí)枺?/td>: 201811174121.2
• 申請日: 2018-10-09
• 公開（公告）號: CN109495762B
• 公開（公告）日: 2021-05-11
• 發(fā)明（設(shè)計(jì)）人: 王福濱
• 申請（專利權(quán)）人: 廣州虎牙信息科技有限公司
• 主分類號: H04N21/2187
• 分類號: H04N21/2187;H04N21/478;H04N21/4788;H04N21/24;H04N21/233;H04N21/234;H04N21/2343
• 代理公司: 北京市立方律師事務(wù)所 11330
• 代理人: 劉延喜

本發(fā)明提供一種數(shù)據(jù)流處理方法、裝置及存儲介質(zhì)、終端設(shè)備，所述方法包括：確認(rèn)當(dāng)前用戶接入連麥會話窗口；獲取所述連麥會話窗口的連麥用戶的人數(shù)；若所述連麥用戶的人數(shù)達(dá)到預(yù)設(shè)人數(shù)，獲取所述連麥用戶的連續(xù)的幀圖像，對所述幀圖像進(jìn)行幀差運(yùn)算，得到幀差結(jié)果值；根據(jù)所述幀差結(jié)果值控制連麥會話的數(shù)據(jù)流。上述多人連麥的數(shù)據(jù)流處理方法可根據(jù)連麥用戶的人數(shù)，控制連麥用戶的數(shù)據(jù)流，從而能夠解決多人連麥過程流量消耗與音視頻卡頓等數(shù)據(jù)流的問題。

技術(shù)領(lǐng)域

本發(fā)明涉及連麥技術(shù)領(lǐng)域，具體而言，本發(fā)明涉及一種數(shù)據(jù)流處理方法、裝置及存儲介質(zhì)、終端設(shè)備。

背景技術(shù)

隨著互聯(lián)網(wǎng)技術(shù)逐漸成熟以及終端硬件設(shè)備的不斷完善，電腦以及手機(jī)等小型終端設(shè)備的成本也隨之下降，因此降低了直播的門檻。現(xiàn)階段隨著智能手機(jī)的普及，智能手機(jī)的高清攝像頭以及高速手機(jī)聯(lián)網(wǎng)技術(shù)，如4G，wifi等網(wǎng)絡(luò)技術(shù)，使得移動端直播訊速發(fā)展。

直播中比較受用戶歡迎的互動方式就是連麥，連麥的原理如圖1所示。如今一對一的連麥技術(shù)已經(jīng)比較成熟，但是多人連麥的技術(shù)還有所欠缺。由于受到手機(jī)性能以及下行網(wǎng)速的影響，隨著連麥人數(shù)的增加，多人連麥過程中容易造成連麥畫面的卡頓與大量流量的消耗。造成連麥畫面的卡頓的因素主要有：網(wǎng)絡(luò)，視頻，音頻，適配，渲染等。音頻，視頻，適配制約與需求，渲染等與終端設(shè)備的性能相關(guān)，而連麥畫面的卡頓更多的是因?yàn)檫B麥網(wǎng)絡(luò)。

現(xiàn)有的解決多人連麥卡頓的方案主要：第一，降低推流和拉流的碼率。第二，根據(jù)不同的人數(shù)采用降低的動態(tài)碼率。第三，通過服務(wù)器合流后再轉(zhuǎn)發(fā)。其中，降低推流和拉流的碼率與根據(jù)不同的人數(shù)采用降低的動態(tài)碼率本質(zhì)上都是一樣的，通過降低碼率來達(dá)到降低流量消耗和網(wǎng)絡(luò)卡頓，但對于多人連麥的情況下，網(wǎng)絡(luò)下行的壓力依然很大，而且如果將碼率設(shè)置很低，對連麥畫面質(zhì)量影響很大，導(dǎo)致連麥畫面模糊。通過服務(wù)器合流后再轉(zhuǎn)發(fā)能夠做到與一對一連麥效果一樣，可以既保證畫質(zhì)又可以保證下行碼率網(wǎng)絡(luò)低延時(shí)，但是對于需要對單獨(dú)流做窗口顯示與操作的直播場景不適用。

發(fā)明內(nèi)容

本發(fā)明提出一種多人連麥的數(shù)據(jù)流處理方法、裝置及存儲介質(zhì)、終端設(shè)備，以解決多人連麥過程流量消耗與音視頻卡頓等引起的數(shù)據(jù)流的問題。

本發(fā)明提供以下方案：

一種多人連麥的數(shù)據(jù)流處理方法，所述方法包括：確認(rèn)當(dāng)前用戶接入連麥會話窗口；獲取所述連麥會話窗口的連麥用戶的人數(shù)；若所述連麥用戶的人數(shù)達(dá)到預(yù)設(shè)人數(shù)，獲取所述連麥用戶的連續(xù)的幀圖像，對所述幀圖像進(jìn)行幀差運(yùn)算，得到幀差結(jié)果值；根據(jù)所述幀差結(jié)果值控制連麥會話的數(shù)據(jù)流。

在其中一個(gè)實(shí)施例中，所述獲取所述連麥會話窗口的連麥用戶的人數(shù)之后，還包括：若所述連麥用戶的人數(shù)未達(dá)到所述預(yù)設(shè)人數(shù)，通過動態(tài)碼率的方式調(diào)整所述連麥會話的數(shù)據(jù)流。

在其中一個(gè)實(shí)施例中，所述獲取所述連麥用戶的連續(xù)的幀圖像，包括：獲取所述當(dāng)前用戶的連續(xù)的幀圖像；所述數(shù)據(jù)流包括視頻流和音頻流；所述根據(jù)所述幀差結(jié)果值控制連麥會話的數(shù)據(jù)流，包括：當(dāng)所述幀差結(jié)果值大于第一閾值時(shí)，推送所述當(dāng)前用戶的視頻流和音頻流；當(dāng)所述幀差結(jié)果值小于或等于第一閾值時(shí)，推送所述當(dāng)前用戶的音頻流。

在其中一個(gè)實(shí)施例中，所述獲取所述連麥用戶的連續(xù)的幀圖像，包括：獲取所述連麥會話窗口中所述當(dāng)前用戶以外的任一連麥用戶的連續(xù)的幀圖像；所述數(shù)據(jù)流包括視頻流和音頻流；所述根據(jù)所述幀差結(jié)果值控制連麥會話的數(shù)據(jù)流，包括：獲取所述當(dāng)前用戶以外的任一連麥用戶推流時(shí)的標(biāo)志位；所述推流時(shí)的標(biāo)志位為連麥用戶推送所述數(shù)據(jù)流時(shí)，標(biāo)志連麥用戶在所述連麥會話窗口的顯示位置的標(biāo)號；當(dāng)所述幀差結(jié)果值大于第二閾值時(shí)，根據(jù)所述標(biāo)志位拉取所述當(dāng)前用戶以外的任一連麥用戶的視頻流和音頻流；當(dāng)所述幀差結(jié)果值小于或等于第二閾值時(shí)，根據(jù)所述標(biāo)志位拉取所述當(dāng)前用戶以外的任一連麥用戶的音頻流。