[發(fā)明專利]音視頻處理方法、裝置、電子設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202111044166.X
• 申請日: 2021-09-07
• 公開（公告）號: CN113766146B
• 公開（公告）日: 2022-09-16
• 發(fā)明（設(shè)計）人: 李明路
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: H04N5/262
• 分類號: H04N5/262;H04N5/765;H04N5/91;H04N21/44;H04N21/439;H04N21/8547
• 代理公司: 北京英賽嘉華知識產(chǎn)權(quán)代理有限責(zé)任公司 11204
• 代理人: 王達(dá)佐;馬曉亞

1.一種音視頻處理方法，包括：

獲取包含目標(biāo)音視頻數(shù)據(jù)流的目標(biāo)處理請求；其中，所述目標(biāo)處理請求用便于識別的格式在預(yù)設(shè)字段記錄其處理目的；

確定與所述目標(biāo)處理請求對應(yīng)的目標(biāo)音視頻管線；其中，音視頻管線基于按鏈?zhǔn)浇Y(jié)構(gòu)排列的多個功能組件構(gòu)成，各所述功能組件統(tǒng)一由預(yù)設(shè)的數(shù)據(jù)流分發(fā)模塊派發(fā)輸入數(shù)據(jù)、回收輸出數(shù)據(jù)；

調(diào)用所述目標(biāo)音視頻管線持續(xù)處理所述目標(biāo)音視頻數(shù)據(jù)流，并持續(xù)輸出經(jīng)處理后得到的處理后音視頻數(shù)據(jù)流；

控制所述數(shù)據(jù)流分發(fā)模塊檢測接收到的音視頻數(shù)據(jù)的時間戳；

響應(yīng)于根據(jù)所述時間戳確定有新音視頻數(shù)據(jù)先于舊音視頻數(shù)據(jù)被處理，丟棄未處理的舊音視頻數(shù)據(jù)；其中，所述新音視頻數(shù)據(jù)和所述舊音視頻數(shù)據(jù)對應(yīng)相同的生成源，且所述新音視頻數(shù)據(jù)的已生成時長小于所述舊音視頻數(shù)據(jù)的已生成時長。

2.根據(jù)權(quán)利要求1所述的方法，還包括：

響應(yīng)于用于畫面呈現(xiàn)的連續(xù)幀音視頻數(shù)據(jù)的時間戳差超過預(yù)設(shè)時長，對所述連續(xù)幀音視頻數(shù)據(jù)進(jìn)行畫面內(nèi)容的連貫性處理。

3.根據(jù)權(quán)利要求1所述的方法，還包括：

控制所述數(shù)據(jù)流分發(fā)模塊確定各所述功能組件的實(shí)際運(yùn)行狀態(tài)；

控制所述數(shù)據(jù)流分發(fā)模塊根據(jù)所述實(shí)際運(yùn)行狀態(tài)調(diào)整與相應(yīng)的功能組件存在關(guān)聯(lián)關(guān)系的其它功能組件的功能參數(shù)。

4.根據(jù)權(quán)利要求3所述的方法，其中，所述控制所述數(shù)據(jù)流分發(fā)模塊確定各所述功能組件的實(shí)際運(yùn)行狀態(tài)，包括：

控制所述數(shù)據(jù)流分發(fā)模塊計算向每個所述功能組件派發(fā)輸入數(shù)據(jù)和從每個所述功能組件回收輸出數(shù)據(jù)的時間差；

控制所述數(shù)據(jù)流分發(fā)模塊分別根據(jù)所述時間差確定相應(yīng)的功能組件的實(shí)際處理耗時；

控制所述數(shù)據(jù)流分發(fā)模塊根據(jù)所述實(shí)際處理耗時確定相應(yīng)的功能組件的實(shí)際運(yùn)行狀態(tài)。

5.根據(jù)權(quán)利要求4所述的方法，其中，所述控制所述數(shù)據(jù)流分發(fā)模塊根據(jù)所述實(shí)際處理耗時確定相應(yīng)的功能組件的實(shí)際運(yùn)行狀態(tài)，包括：

響應(yīng)于所述實(shí)際處理耗時處于與相同的功能組件對應(yīng)的正常處理耗時區(qū)間中，控制所述數(shù)據(jù)流分發(fā)模塊確定對應(yīng)所述實(shí)際處理耗時的功能組件處于正常運(yùn)行狀態(tài)；其中，所述正常處理耗時區(qū)間基于確定處于正常運(yùn)行狀態(tài)的相同功能組件的歷史處理耗時情況確定得到；

響應(yīng)于所述實(shí)際處理耗時未處于與相同的功能組件對應(yīng)的正常處理耗時區(qū)間中，控制所述數(shù)據(jù)流分發(fā)模塊確定對應(yīng)所述實(shí)際處理耗時的功能組件處于異常運(yùn)行狀態(tài)。

6.根據(jù)權(quán)利要求3所述的方法，還包括：

響應(yīng)于所述實(shí)際運(yùn)行狀態(tài)超出了所述功能參數(shù)的調(diào)整上限，控制所述數(shù)據(jù)流分發(fā)模塊上報功能組件異常通知。

7.根據(jù)權(quán)利要求1-6任一項(xiàng)所述的方法，其中，所述目標(biāo)音視頻管線包括單一音視頻管線和復(fù)合音視頻管線，所述復(fù)合音視頻管線基于多個所述單一音視頻管線封裝得到。

8.一種音視頻處理裝置，包括：

請求獲取單元，被配置成獲取包含目標(biāo)音視頻數(shù)據(jù)流的目標(biāo)處理請求；其中，所述目標(biāo)處理請求用便于識別的格式在預(yù)設(shè)字段記錄其處理目的；

目標(biāo)管線確定單元，被配置成確定與所述目標(biāo)處理請求對應(yīng)的目標(biāo)音視頻管線；其中，音視頻管線基于按鏈?zhǔn)浇Y(jié)構(gòu)排列的多個功能組件構(gòu)成，各所述功能組件統(tǒng)一由預(yù)設(shè)的數(shù)據(jù)流分發(fā)模塊派發(fā)輸入數(shù)據(jù)、回收輸出數(shù)據(jù)；

目標(biāo)管線調(diào)用及輸出返回單元，被配置成調(diào)用所述目標(biāo)音視頻管線持續(xù)處理所述目標(biāo)音視頻數(shù)據(jù)流，并持續(xù)輸出經(jīng)處理后得到的處理后音視頻數(shù)據(jù)流；

時間戳檢測單元，被配置成控制所述數(shù)據(jù)流分發(fā)模塊檢測接收到的音視頻數(shù)據(jù)的時間戳；

異步處理單元，被配置成響應(yīng)于根據(jù)所述時間戳確定有新音視頻數(shù)據(jù)先于舊音視頻數(shù)據(jù)被處理，丟棄未處理的舊音視頻數(shù)據(jù)；其中，所述新音視頻數(shù)據(jù)和所述舊音視頻數(shù)據(jù)對應(yīng)相同的生成源，且所述新音視頻數(shù)據(jù)的已生成時長小于所述舊音視頻數(shù)據(jù)的已生成時長。