[發明專利]視頻會議自動補音的方法、系統、存儲介質及電子設備

有效

• 申請號: 202010962350.1
• 申請日: 2020-09-14
• 公開（公告）號: CN112270919B
• 公開（公告）日: 2022-11-22
• 發明（設計）人: 李璐;陳洪浩;馮文瀾
• 申請（專利權）人: 深圳隨銳視聽科技有限公司;隨銳科技集團股份有限公司
• 主分類號: G10L13/08
• 分類號: G10L13/08;G10L15/26;H04L65/80;H04N21/439;H04N21/8547
• 代理公司: 北京興智翔達知識產權代理有限公司 11768
• 代理人: 張玉梅

本發明公開了一種視頻會議自動補音的方法、系統、存儲介質及電子設備，其中視頻會議自動補音的方法包括：發送端麥克風拾音形成音頻流數據包；發送端開啟語音識別功能，將音頻流數據包轉為文字信息包；接收端同時接收音頻流數據包及文字信息包；接收端對音頻流數據包進行檢測，判斷音頻流數據包是否丟包；當發生丟包時，接收端將已接收的音頻流數據包的時間戳與已接收的文字信息包的時間戳進行比對，找到音頻流數據包丟包區域相對應的文字信息包；接收端開啟語音合成功能，將與丟包區域相對應的文字信息包生成音頻數據。借此，本發明的視頻會議自動補音的方法、系統、存儲介質及電子設備，可以對丟失音頻智能還原，且自動補全。

技術領域

本發明是關于視頻多媒體通信技術領域，特別是關于一種視頻會議自動 補音的方法、系統、存儲介質及電子設備。

背景技術

視頻會議、指揮調度過程中，目前基于網絡變化導致音頻丟失情況，主 要采用音頻前向糾錯，加到音頻冗余等算法，保障在一定網絡損傷的情況下 保障音頻質量。

以上方案號稱支持網絡丟包率30％的情況下音頻能夠保持流暢。但是存 在對帶寬要求高，而往往丟包率高的環境，帶寬普遍偏低無法滿足音頻流暢 的需求。

現有技術方案主要側重點在于盡可能的通過智能算法自動補充部分音頻 數據或者發送更多的音頻數據，確保即使丟失部分也不影響整體效果。智能 算法自動補充只能解決丟失一兩個數據包的情況，而發送更多冗余包的做法 會增加網絡帶寬，對帶寬要求高。

公開于該背景技術部分的信息僅僅旨在增加對本發明的總體背景的理解， 而不應當被視為承認或以任何形式暗示該信息構成已為本領域一般技術人員 所公知的現有技術。

發明內容

本發明的目的在于提供一種視頻會議自動補音的方法、系統、存儲介質 及電子設備，其能夠對丟失音頻智能還原，且自動補全。

為實現上述目的，本發明一方面提供了一種視頻會議自動補音的方法、 系統、存儲介質及電子設備，其中視頻會議自動補音的方法包括：發送端麥 克風拾音形成音頻流數據包；發送端開啟語音識別功能，將音頻流數據包轉 為文字信息包；接收端同時接收音頻流數據包及文字信息包；接收端對音頻 流數據包進行檢測，判斷音頻流數據包是否丟包；當發生丟包時，接收端將 已接收的音頻流數據包的時間戳與已接收的文字信息包的時間戳進行比對， 找到音頻流數據包丟包區域相對應的文字信息包；接收端開啟語音合成功能， 將與丟包區域相對應的文字信息包生成音頻數據；將音頻數據補充至丟包的 音頻流數據包相對應的時間戳中。

在本發明的一實施方式中，接收端對所述音頻流數據包進行檢測，判斷 所述音頻流數據包是否丟包包括：預設時間內未收到音頻流數據包，則判斷 音頻流數據包發生預設丟包；預設時間內接收到音頻流數據包，當音頻流數 據包的丟包數量超過丟包預設值時，則判斷音頻流數據包發生預設丟包。

在本發明的一實施方式中，音頻流數據包的丟包預設值為三個。

在本發明的一實施方式中，生成音頻數據的時間范圍小于丟包起始時間， 大于丟包結束時間。

在本發明的一實施方式中，將音頻數據補充至丟包的音頻流數據包相對 應的時間戳中包括：截取生成音頻數據中與丟包的音頻流數據包相對應的音 頻數據，補充至丟包的音頻流數據包相對應的時間戳中。