[發(fā)明專利]音頻處理方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010372908.0
• 申請(qǐng)日: 2020-05-06
• 公開(kāi)（公告）號(hào): CN111580777A
• 公開(kāi)（公告）日: 2020-08-25
• 發(fā)明（設(shè)計(jì)）人: 邢文浩;張晨
• 申請(qǐng)（專利權(quán)）人: 北京達(dá)佳互聯(lián)信息技術(shù)有限公司
• 主分類號(hào): G06F3/16
• 分類號(hào): G06F3/16;G10L25/78;G10L25/30
• 代理公司: 北京三高永信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11138
• 代理人: 寧立存

本公開(kāi)關(guān)于一種音頻處理方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，屬于音視頻技術(shù)領(lǐng)域。所述方法包括：接收發(fā)送端發(fā)送的音頻幀，將當(dāng)前接收到的所述音頻幀緩存至網(wǎng)絡(luò)抖動(dòng)器；獲取第一時(shí)長(zhǎng)、第二時(shí)長(zhǎng)和第三時(shí)長(zhǎng)，其中，所述第一時(shí)長(zhǎng)用于指示當(dāng)前的網(wǎng)絡(luò)抖動(dòng)，所述第二時(shí)長(zhǎng)用于指示預(yù)設(shè)處理的最大網(wǎng)絡(luò)抖動(dòng)，所述第三時(shí)長(zhǎng)與所述網(wǎng)絡(luò)抖動(dòng)器的最大存儲(chǔ)容量相關(guān)；根據(jù)所述網(wǎng)絡(luò)抖動(dòng)器的當(dāng)前容量、所述第一時(shí)長(zhǎng)、所述第二時(shí)長(zhǎng)和所述第三時(shí)長(zhǎng)，加速處理所述網(wǎng)絡(luò)抖動(dòng)器中緩存的音頻幀；其中，所述當(dāng)前容量用于指示所述網(wǎng)絡(luò)抖動(dòng)器當(dāng)前緩存的音頻幀的數(shù)據(jù)量。本公開(kāi)能夠盡可能地縮短聲音延遲的持續(xù)時(shí)間，提升了交流雙方的交流體驗(yàn)，該種音頻處理方式效果較佳。

技術(shù)領(lǐng)域

本公開(kāi)涉及音視頻技術(shù)領(lǐng)域，尤其涉及一種音頻處理方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

直播過(guò)程中主播用戶和嘉賓用戶可以連麥。在連麥時(shí)，各方的終端會(huì)分別通過(guò)麥克風(fēng)采集音頻，在將采集到的音頻依次進(jìn)行前處理、音頻編碼器的編碼處理后，再通過(guò)網(wǎng)絡(luò)發(fā)送給對(duì)方的終端。其中，針對(duì)接收端，在從網(wǎng)絡(luò)上接收到發(fā)送端的音頻幀后，會(huì)將接收到的音頻幀暫時(shí)緩存在JB(Jitter Buffer,網(wǎng)絡(luò)抖動(dòng)器)中進(jìn)行排序解碼，在經(jīng)過(guò)音頻解碼器的解碼處理后，再由揚(yáng)聲器進(jìn)行播放。這樣，連麥雙方便可以聽(tīng)到彼此的聲音。

然而，在連麥過(guò)程中，一方面受到網(wǎng)絡(luò)實(shí)際情況影響，網(wǎng)絡(luò)抖動(dòng)難以避免。而在網(wǎng)絡(luò)發(fā)生抖動(dòng)時(shí)，接收端在某一時(shí)刻可能會(huì)突然接收到很多音頻幀，這可能會(huì)導(dǎo)致由于音頻幀累積而產(chǎn)生的聲音延遲問(wèn)題。另一方面，在某些特殊的中斷情況下，比如鬧鈴或來(lái)電響鈴等事件發(fā)生時(shí)，音頻播放行為會(huì)被中斷，但是此時(shí)音頻幀還在源源不斷到來(lái)，這些音頻幀會(huì)被陸續(xù)放入JB，進(jìn)而導(dǎo)致JB中存儲(chǔ)的數(shù)據(jù)量驟升。而在中斷結(jié)束后，由于JB中累積了大量的音頻幀，因此可能會(huì)產(chǎn)生很大的聲音延遲，這會(huì)對(duì)雙方交流造成嚴(yán)重不良影響。

考慮到以上問(wèn)題，目前亟需一種音頻處理方案，以至少解決直播過(guò)程中，當(dāng)網(wǎng)絡(luò)發(fā)生抖動(dòng)或中斷事件發(fā)生時(shí)，因存在較大聲音延遲，進(jìn)而給交流雙方造成嚴(yán)重不良影響的問(wèn)題。

發(fā)明內(nèi)容

本公開(kāi)提供一種音頻處理方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，在網(wǎng)絡(luò)發(fā)生抖動(dòng)或中斷事件發(fā)生時(shí)，能夠盡可能地縮短聲音延遲的持續(xù)時(shí)間，提升了交流雙方的交流體驗(yàn)，該種音頻處理方式效果較佳。本公開(kāi)的技術(shù)方案如下：

根據(jù)本公開(kāi)實(shí)施例的第一方面，提供一種音頻處理方法，包括：

接收發(fā)送端發(fā)送的音頻幀，將當(dāng)前接收到的所述音頻幀緩存至網(wǎng)絡(luò)抖動(dòng)器；

獲取第一時(shí)長(zhǎng)、第二時(shí)長(zhǎng)和第三時(shí)長(zhǎng)，其中，所述第一時(shí)長(zhǎng)用于指示當(dāng)前的網(wǎng)絡(luò)抖動(dòng)，所述第二時(shí)長(zhǎng)用于指示預(yù)設(shè)處理的最大網(wǎng)絡(luò)抖動(dòng)，所述第三時(shí)長(zhǎng)與所述網(wǎng)絡(luò)抖動(dòng)器的最大存儲(chǔ)容量相關(guān)；

根據(jù)所述網(wǎng)絡(luò)抖動(dòng)器的當(dāng)前容量、所述第一時(shí)長(zhǎng)、所述第二時(shí)長(zhǎng)和所述第三時(shí)長(zhǎng)，加速處理所述網(wǎng)絡(luò)抖動(dòng)器中緩存的音頻幀；

其中，所述當(dāng)前容量用于指示所述網(wǎng)絡(luò)抖動(dòng)器當(dāng)前緩存的音頻幀的數(shù)據(jù)量。

在一種可能的實(shí)現(xiàn)方式中，所述獲取第一時(shí)長(zhǎng)，包括：

根據(jù)接收到的各個(gè)音頻幀的到達(dá)時(shí)間間隔，確定所述到達(dá)時(shí)間間隔的概率分布；

根據(jù)所述到達(dá)時(shí)間間隔的概率分布確定所述第一時(shí)長(zhǎng)。

在一種可能的實(shí)現(xiàn)方式中，所述根據(jù)所述網(wǎng)絡(luò)抖動(dòng)器的當(dāng)前容量、所述第一時(shí)長(zhǎng)、所述第二時(shí)長(zhǎng)和所述第三時(shí)長(zhǎng)，加速處理所述網(wǎng)絡(luò)抖動(dòng)器中緩存的音頻幀，包括：

若所述當(dāng)前容量對(duì)應(yīng)的時(shí)長(zhǎng)大于所述第一時(shí)長(zhǎng)，且小于所述第二時(shí)長(zhǎng)，則采用第一處理模式，對(duì)所述網(wǎng)絡(luò)抖動(dòng)器中緩存的音頻幀進(jìn)行加速播放；

其中，所述第一處理模式為每間隔M1個(gè)音頻幀丟棄一個(gè)音頻幀，M1為正整數(shù)。