[發(fā)明專利]一種音視頻同步播放系統(tǒng)的邊緣融合方法及其裝置

有效

• 申請?zhí)枺?/td>: 202011501339.1
• 申請日: 2020-12-17
• 公開（公告）號: CN112637488B
• 公開（公告）日: 2022-02-22
• 發(fā)明（設計）人: 楊培春
• 申請（專利權(quán)）人: 深圳市普匯智聯(lián)科技有限公司
• 主分類號: H04N5/232
• 分類號: H04N5/232;H04N9/31;H04N5/265;H04N5/268;H04N5/04;G06T3/40;G06T5/50
• 代理公司: 北京冠和權(quán)律師事務所 11399
• 代理人: 吳金水

1.一種音視頻同步播放系統(tǒng)的邊緣融合方法，其特征在于，所述邊緣融合方法包括：

控制多個攝像機獲取視頻范圍內(nèi)的對應的視頻圖像，并將所述視頻圖像對應的數(shù)據(jù)流傳送至邊緣融合處理器進行邊緣融合，獲得邊緣融合處理后的全景視頻圖像；

根據(jù)投影儀的數(shù)量對全景圖像進行分割，并利用所述投影儀對所述圖像進行對應投射；

提取視頻對應的音頻數(shù)據(jù)，實時監(jiān)控視頻和音頻播放進度，并根據(jù)進度進行視頻與音頻的一致性調(diào)整；所述提取視頻對應的音頻數(shù)據(jù)，實時監(jiān)控視頻和音頻播放進度，并根據(jù)進度進行視頻與音頻的一致性調(diào)整，包括：

實時提取視頻對應的音頻數(shù)據(jù)，

將音頻與融合后進行投影的全景視頻進行同時播放；

實時監(jiān)控全景視頻和音頻播放進度，并判斷所述全景視頻與音頻的播放時間點是否一致；

如果所述音頻播放時間點與所述全景視頻播放時間點不一致，則自動調(diào)整音頻播放速度，使所述音頻播放速度與所述全景視頻播放時間保持一致，其中，所述音頻播放速度通過音頻速度調(diào)整模型進行播放速度調(diào)整；所述音頻播放速度調(diào)整模型為：

其中，v_t表示調(diào)整后的音頻播放速度；v₀表示調(diào)整前的音頻播放速度；v₁表示視頻播放的速度，T₁表示視頻已播放時長；T表示視頻整體時長；T₀表示音頻已播放時長；T_s表示預設的時長標準差值，T_s的取值范圍為3s-6s。

2.一種音視頻同步播放系統(tǒng)的邊緣融合裝置，其特征在于，所述邊緣融合裝置包括：

全景獲取模塊，用于控制多個攝像機獲取視頻范圍內(nèi)的對應的視頻圖像，并將所述視頻圖像對應的數(shù)據(jù)流傳送至邊緣融合處理器進行邊緣融合，獲得邊緣融合處理后的全景視頻圖像；

分割模塊，用于根據(jù)投影儀的數(shù)量對全景圖像進行分割，并利用所述投影儀對所述圖像進行對應投射；

調(diào)整模塊，用于提取視頻對應的音頻數(shù)據(jù)，實時監(jiān)控視頻和音頻播放進度，并根據(jù)進度進行視頻與音頻的一致性調(diào)整；所述調(diào)整模塊包括：提取模塊，用于實時提取視頻對應的音頻數(shù)據(jù)，播放模塊，用于將音頻與融合后進行投影的全景視頻進行同時播放；監(jiān)控模塊，用于實時監(jiān)控全景視頻和音頻播放進度，并判斷所述全景視頻與音頻的播放時間點是否一致；音頻調(diào)整模塊，用于在所述音頻播放時間點與所述全景視頻播放時間點不一致時，則自動調(diào)整音頻播放速度，使所述音頻播放速度與所述全景視頻播放時間保持一致，其中，所述音頻播放速度通過音頻速度調(diào)整模型進行播放速度調(diào)整；所述音頻播放速度調(diào)整模型為：

其中，v_t表示調(diào)整后的音頻播放速度；v₀表示調(diào)整前的音頻播放速度；v₁表示視頻播放的速度，T₁表示視頻已播放時長；T表示視頻整體時長；T₀表示音頻已播放時長；T_s表示預設的時長標準差值，T_s的取值范圍為3s-6s。