[發(fā)明專利]一種多人連麥方法及相關(guān)設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202210439610.6
• 申請(qǐng)日: 2022-04-25
• 公開（公告）號(hào): CN115065829A
• 公開（公告）日: 2022-09-16
• 發(fā)明（設(shè)計(jì)）人: 彭治湘
• 申請(qǐng)（專利權(quán)）人: 武漢斗魚魚樂網(wǎng)絡(luò)科技有限公司
• 主分類號(hào): H04N21/2187
• 分類號(hào): H04N21/2187;H04N7/15;H04N21/2368;H04N21/439;H04N21/44
• 代理公司: 北京眾達(dá)德權(quán)知識(shí)產(chǎn)權(quán)代理有限公司 11570
• 代理人: 王春艷

本發(fā)明公開了一種多人連麥方法及相關(guān)設(shè)備。該方法包括：在接收到連麥請(qǐng)求消息的情況下，拉取基于相同的連麥請(qǐng)求消息的N個(gè)待連麥主播的客戶端發(fā)出的視頻流和音頻流；分別對(duì)不同客戶端發(fā)出的視頻流以及音頻流進(jìn)行解碼；基于解碼后的視頻流進(jìn)行混流以生成連麥視頻流；根據(jù)解碼后的音頻流進(jìn)行混流以生成連麥音頻流；向每個(gè)待連麥主播發(fā)送與其對(duì)應(yīng)的目標(biāo)連麥視頻流和目標(biāo)連麥音頻流。本申請(qǐng)實(shí)施例提供的方案，相比于現(xiàn)有技術(shù)中，針對(duì)每個(gè)主播分別建立一個(gè)混流服務(wù)的方法，可以大大降低拉流操作、混流次數(shù)和編解碼次數(shù)，從而大大降低連麥過程中的資源消耗。

技術(shù)領(lǐng)域

本說明書涉及直播連麥領(lǐng)域，更具體地說，本發(fā)明涉及一種多人連麥方法及相關(guān)設(shè)備。

背景技術(shù)

在直播過程中，多個(gè)主播進(jìn)行連麥?zhǔn)且环N比較流行的直播方式，在連麥技術(shù)中，MCU(Multipoint Conferencing Unit，多點(diǎn)會(huì)議單元)是一種很常見的連麥混流方案，MCU混流中，服務(wù)端需要對(duì)參與連麥的主播進(jìn)行混流，混流之后的畫面提供給觀眾和連麥主播觀看。混流過程包含解碼，畫面縮放疊加，編碼等視頻處理過程，視頻處理需要耗費(fèi)大量的CPU資源。

在現(xiàn)有的MCU混流中會(huì)針對(duì)每一個(gè)進(jìn)行連麥的主播和觀眾端分別建立一個(gè)混流服務(wù)?；炝鬟^程包含解碼，畫面縮放疊加，編碼等視頻處理過程，視頻處理需要耗費(fèi)大量的CPU資源，巨大資源消耗限制了MCU技術(shù)的推廣與應(yīng)用。

發(fā)明內(nèi)容

在發(fā)明內(nèi)容部分中引入了一系列簡(jiǎn)化形式的概念，這將在具體實(shí)施方式部分中進(jìn)一步詳細(xì)說明。本發(fā)明的發(fā)明內(nèi)容部分并不意味著要試圖限定出所要求保護(hù)的技術(shù)方案的關(guān)鍵特征和必要技術(shù)特征，更不意味著試圖確定所要求保護(hù)的技術(shù)方案的保護(hù)范圍。

為了提供一種低資源消耗的MCU混流方案，第一方面，本發(fā)明提出一種多人連麥方法，用于客戶端，上述方法包括：

在接收到連麥請(qǐng)求消息的情況下，拉取基于相同的連麥請(qǐng)求消息的N個(gè)待連麥主播的客戶端發(fā)出的視頻流和音頻流；

分別對(duì)不同客戶端發(fā)出的視頻流以及音頻流進(jìn)行解碼；

基于解碼后的視頻流進(jìn)行混流和編碼以生成連麥視頻流；

根據(jù)解碼后的音頻流進(jìn)行混流和編碼以生成連麥音頻流；

向每個(gè)待連麥主播發(fā)送與其對(duì)應(yīng)的目標(biāo)連麥視頻流和目標(biāo)連麥音頻流。

可選的，上述基于解碼后的視頻流進(jìn)行混流和編碼以生成連麥視頻流，包括：

將N個(gè)解碼后的視頻流進(jìn)行混流和編碼以生成共用連麥視頻流。

可選的，上述根據(jù)解碼后的音頻流進(jìn)行混流和編碼以生成連麥音頻流，包括：

將N-1個(gè)解碼后的音頻流進(jìn)行混流和編碼以生成N種專用連麥音頻流，其中，每個(gè)上述待連麥主播對(duì)應(yīng)一種專用連麥音頻流，每一種專用連麥音頻流中不包括對(duì)應(yīng)待連麥主播的音頻。

可選的，上述向每個(gè)待連麥主播發(fā)送與其對(duì)應(yīng)的目標(biāo)連麥視頻流和目標(biāo)連麥音頻流，包括：

向每個(gè)上述待連麥主播發(fā)送上述共用連麥視頻流和其對(duì)應(yīng)的專用連麥音頻流。

可選的，上述方法還包括：

將N個(gè)解碼后的音頻流進(jìn)行混流和編碼以生成一個(gè)觀眾音頻流；

將上述共用視頻流和上述觀眾音頻流發(fā)送至觀眾關(guān)聯(lián)的客戶端。

可選的，上述方法還包括：

在接收到第一連麥請(qǐng)求的情況下，根據(jù)發(fā)出上述第一連麥請(qǐng)求的主播的直播間ID分配一個(gè)負(fù)載最低的混流和編碼服務(wù)器并創(chuàng)建混流和編碼服務(wù)，其中，上述發(fā)出第一連麥請(qǐng)求的主播為創(chuàng)建連麥服務(wù)的主播；