[發(fā)明專利]一種音視頻傳輸方法、裝置、電子設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010153193.X
• 申請日: 2020-03-06
• 公開（公告）號: CN111447396A
• 公開（公告）日: 2020-07-24
• 發(fā)明（設(shè)計）人: 謝文龍;李云鵬;呂亞亞;楊春暉
• 申請（專利權(quán)）人: 視聯(lián)動力信息技術(shù)股份有限公司
• 主分類號: H04N7/15
• 分類號: H04N7/15;H04N7/18;H04N21/242;H04N21/8547
• 代理公司: 北京潤澤恒知識產(chǎn)權(quán)代理有限公司 11319
• 代理人: 蘇培華

本申請?zhí)峁┝艘环N音視頻傳輸方法、裝置、電子設(shè)備及存儲介質(zhì)，所述方法應(yīng)用于數(shù)據(jù)傳輸設(shè)備，包括：接收外部視頻采集設(shè)備發(fā)送的視頻數(shù)據(jù)；獲得所述數(shù)據(jù)傳輸設(shè)備自身的音頻采集組件采集的音頻數(shù)據(jù)，所述音頻數(shù)據(jù)與所述視頻數(shù)據(jù)具有時序關(guān)聯(lián)關(guān)系；根據(jù)所述時序關(guān)聯(lián)關(guān)系，對所述視頻數(shù)據(jù)和所述音頻數(shù)據(jù)進(jìn)行同步處理，獲得同步音視頻數(shù)據(jù)；將所述同步音視頻數(shù)據(jù)發(fā)送給接收端。在該過程中，實(shí)現(xiàn)了外部采集的視頻數(shù)據(jù)和數(shù)據(jù)傳輸設(shè)備端的用戶的音頻數(shù)據(jù)的同步處理，保證了接收端在接收到視頻數(shù)據(jù)時，能接收到實(shí)時對應(yīng)的音頻數(shù)據(jù)，使得接收端的用戶能更好地了解視頻內(nèi)容，改善了用戶的使用體驗(yàn)。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，特別是涉及一種音視頻傳輸方法、裝置、電子設(shè)備及存儲介質(zhì)。

背景技術(shù)

視聯(lián)網(wǎng)是一種基于以太網(wǎng)硬件的實(shí)時大帶寬傳輸網(wǎng)絡(luò)，采用專用協(xié)議實(shí)現(xiàn)高清視頻的高速傳輸。圖傳設(shè)備是一種對接視頻流或編碼視頻流并進(jìn)行傳輸?shù)脑O(shè)備。傳統(tǒng)的圖傳設(shè)備主要對接無人機(jī)、監(jiān)控攝像機(jī)、自拍桿以及VR設(shè)備的視頻資源，把視頻資源接入到對應(yīng)的業(yè)務(wù)系統(tǒng)中，例如會議系統(tǒng)、直播系統(tǒng)或者其它業(yè)務(wù)系統(tǒng)中。在實(shí)際業(yè)務(wù)中，圖傳設(shè)備對音頻數(shù)據(jù)和視頻數(shù)據(jù)采用單向傳輸?shù)姆绞剑?dāng)音頻數(shù)據(jù)和視頻數(shù)據(jù)存在某種關(guān)聯(lián)時，無法進(jìn)行較好地處理，使得接收端需要再次對音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行關(guān)聯(lián)處理，因而用戶的使用體驗(yàn)較差。

發(fā)明內(nèi)容

本申請實(shí)施例提供了一種音視頻傳輸方法、裝置、電子設(shè)備及存儲介質(zhì)，旨在實(shí)現(xiàn)音頻數(shù)據(jù)和視頻數(shù)據(jù)的同步處理。

本申請實(shí)施例第一方面提供了一種音視頻傳輸方法，應(yīng)用于數(shù)據(jù)傳輸設(shè)備，所述方法包括：

接收外部視頻采集設(shè)備發(fā)送的視頻數(shù)據(jù)；

獲得所述數(shù)據(jù)傳輸設(shè)備自身的音頻采集組件采集的音頻數(shù)據(jù)，所述音頻數(shù)據(jù)與所述視頻數(shù)據(jù)具有時序關(guān)聯(lián)關(guān)系；

根據(jù)所述時序關(guān)聯(lián)關(guān)系，對所述視頻數(shù)據(jù)和所述音頻數(shù)據(jù)進(jìn)行同步處理，獲得同步音視頻數(shù)據(jù)；

將所述同步音視頻數(shù)據(jù)發(fā)送給接收端。

可選地，根據(jù)所述時序關(guān)聯(lián)關(guān)系，對所述視頻數(shù)據(jù)和所述音頻數(shù)據(jù)進(jìn)行同步處理，獲得同步音視頻數(shù)據(jù)，包括：

通過第一線程，對所述音頻數(shù)據(jù)進(jìn)行處理，獲得音頻處理結(jié)果；

通過第二線程，對所述視頻數(shù)據(jù)進(jìn)行處理，獲得視頻處理結(jié)果；

通過第三線程，根據(jù)所述音頻處理結(jié)果、所述視頻處理結(jié)果和所述時序關(guān)聯(lián)關(guān)系，對所述視頻數(shù)據(jù)和所述音頻數(shù)據(jù)進(jìn)行同步處理，獲得所述同步音視頻數(shù)據(jù)；

將所述同步音視頻數(shù)據(jù)發(fā)送給接收端，包括：

通過所述第三線程，將所述同步音視頻數(shù)據(jù)發(fā)送給接收端；

其中，所述第三線程為所述第一線程和所述第二線程中的任意一條線程，或者，所述第三線程不同于所述第一線程和所述第二線程。

可選地，對所述音頻數(shù)據(jù)進(jìn)行處理，獲得音頻處理結(jié)果，包括：

對所述音頻數(shù)據(jù)進(jìn)行封裝，獲得音頻數(shù)據(jù)包，每個所述音頻數(shù)據(jù)包攜帶時間戳；

對所述視頻數(shù)據(jù)進(jìn)行處理，獲得視頻處理結(jié)果，包括：

對所述視頻數(shù)據(jù)進(jìn)行封裝，獲得視頻數(shù)據(jù)包，每個所述視頻數(shù)據(jù)包攜帶時間戳；

根據(jù)所述音頻處理結(jié)果、所述視頻處理結(jié)果和所述時序關(guān)聯(lián)關(guān)系，對所述視頻數(shù)據(jù)和所述音頻數(shù)據(jù)進(jìn)行同步處理，包括：

根據(jù)所述音頻數(shù)據(jù)包的時間戳、所述視頻數(shù)據(jù)包的時間戳、相鄰視頻數(shù)據(jù)包的時間間隔值以及預(yù)設(shè)閾值，確定目標(biāo)音頻數(shù)據(jù)包和目標(biāo)視頻數(shù)據(jù)包；

按照時間戳先后順序?qū)λ瞿繕?biāo)音頻數(shù)據(jù)包和目標(biāo)視頻數(shù)據(jù)包進(jìn)行同步處理。