[發明專利]一種基于5G低延時生成樹音視頻會議方法

有效

• 申請號: 202011305279.6
• 申請日: 2020-11-20
• 公開（公告）號: CN112492255B
• 公開（公告）日: 2022-07-05
• 發明（設計）人: 陳尚武;李華松;尹書娟
• 申請（專利權）人: 杭州敘簡科技股份有限公司
• 主分類號: H04N7/15
• 分類號: H04N7/15
• 代理公司: 浙江傳衡律師事務所 33387
• 代理人: 葉衛強

1.一種基于5G低延時生成樹音視頻會議方法,其特征在于以下步驟：

S1、終端探測模塊(6)通過終端5G通訊模塊(7 )向會議中是所有終端發起時延探測請求，根據請求反饋時間得到終端與終端通過5G基站(9)通訊的時延時間，如果終端與終端不能直接通信，則時延時間為無限大；終端探測模塊(6)通過終端D2D模塊(2)向附近的與會的終端發起時延探測請求，根據請求反饋時間得到終端與終端通過D2D通訊的時延時間，該時延時間和終端與終端通過5G基站(9)通訊的時延時間，取其中時延時間較短的為終端與終端的時延時間；終端探測模塊(6)把生成的時延時間發送給中心時延生成樹模塊(18)；

S2、邊緣服務器的邊緣探測模塊(10)向所有的5G移動音視頻終端的終端探測模塊(6)發出時延探測請求，根據請求反饋時間得到邊緣服務器與終端的時延時間，如果邊緣服務器與終端不能直接通信，則時延時間為無限大；邊緣服務器的邊緣探測模塊(10)向所有的邊緣服務器的邊緣探測模塊(10)發出時延探測請求，根據請求反饋時間得到邊緣服務器與邊緣服務器的時延時間；邊緣探測模塊(10)把生成的時延時間發送給中心時延生成樹模塊(18)；

S3、中心服務器的中心探測模塊(19)向5G移動音視頻終端的終端探測模塊(6)發出時延探測請求，根據請求反饋時間得到中心服務器與終端的時延時間；中心服務器的中心探測模塊(19)向邊緣服務器的邊緣 探測模塊(10)發出時延探測請求，根據請求反饋時間得到中心服務器與邊緣服務器的時延時間；中心探測模塊(19)把生成的時延時間發送給中心時延生成樹模塊(18)；

S4、中心時延生成樹模塊(18)接收終端探測模塊(6)的終端間的時延數據，中心時延生成樹模塊(18)接收邊緣探測模塊(10)的時延數據，中心時延生成樹模塊(18)接收中心探測模塊(19)的時延數據，建立以中心服務器為頂點的時延樹；

S5、中心時延生成樹模塊(18)接收終端視頻查看模塊(2)的兩個視頻進行視頻樹傳輸最短傳輸路徑查詢，這兩個視頻分別來自終端A和終端B；中心時延生成樹模塊(18)把終端A與存在樹邊的所有樹節點放入隊列，以終端A與樹節點的樹邊的權重做為樹節點的權重，樹節點的傳輸路徑為空，隊列按照樹節點權重進行排序，低權重樹節點排在隊列的前面；分別從隊列取出樹節點T，樹節點T為終端B,則找到最短傳輸路徑，把樹節點T的傳輸路徑中的樹節點發送給終端視頻查看模塊(2)，如果樹節點T不是終端B,以該樹節點T為起點，查找所有存在樹邊的樹節點樹放入隊列，樹節點權重為樹節點T到該樹節點的樹邊權重加上樹節點T的權重，把樹節點T加入該樹節點的傳輸路徑，隊列按照樹節點權重進行排序，低權重樹節點排在隊列的前面，重復上述取隊列的樹節點的流程一直到找到終端B；

S6、終端視頻查看模塊(2)查看與會終端的視頻圖像，通過分發網絡接收終端視頻源模塊(1)的視頻流，解碼顯示；終端視頻查看模塊(2)從中心會議模塊(15)獲取所有與會終端清單，根據該終端的操作者，選擇查看與會終端的視頻；終端A的終端視頻查看模塊(2)選擇一個終端B時，則向中心時延生成樹模塊(18)發起視頻樹傳輸最短傳輸路徑查詢，根據傳輸路徑的樹節點，向樹節點的分發模塊請求視頻流攜帶傳輸路徑，樹節點的分發模塊包含終端分發模塊(5)，邊緣分發模塊(11)，中心分發模塊(16)；樹節點的分發模塊根據傳輸路徑的樹節點，向下一個樹節點發起分發請求，攜帶傳輸路徑，一直找到終端B的終端分發模塊(5)，終端分發模塊(5)轉發終端視頻源模塊(1)的視頻流數據到傳輸路徑上一個的樹節點，這樣按照傳輸路徑進行逐級轉發給終端A的終端視頻查看模塊(2)，終端A通過最低傳輸時延路徑來查看終端B的視頻，實現最低網絡延時；同時部分終端如果不在5G基站(9)，也可以通過這種方法通過5G的D2D方式查看該終端視頻圖像；

S7、終端視頻源模塊(1)采集本地圖像，通過視頻樹分發網絡，發送給需要查看的終端視頻查看模塊(2),終端視頻源模塊(1)采集本地圖像，編碼壓縮成視頻流發送給終端分發模塊(5)、終端5G通訊模塊(7)、終端D2D通信模塊(8)，最終實現終端視頻源模塊(1)視頻流發送給終端分發模塊(5)，邊緣分發模塊(11)，中心分發模塊(16)，終端視頻查看模塊(2)；

S8、邊緣服務器的邊緣分發模塊(11)作為視頻分發的樹節點，實現終端視頻圖像分發；邊緣分發模塊(11)通過5G基站(9)，5G承載網(13)與5G核心網(14)，最終實現終端分發模塊(5)作為終端視頻源模塊(1)，終端分發模塊(5)，中心分發模塊(16)，終端視頻查看模塊(2)間的視頻數據分發；邊緣分發模塊(11)部署,重復利用5G網絡從集中式核心網變成分布式優勢，臨近5G部署邊緣分發模塊(11)，降低視頻分發延時；

S9、中心會議模塊(15)控制建立語音混音樹實現會議通話；中心會議模塊(15)接收中心時延生成樹模塊(18)生成的時延樹，進行生成語音混音樹；

S10、終端音頻模塊(3)作為會議成員加入終端混音模塊(4)；終端混音模塊(4)作為會議成員加入邊緣混音模塊(12)或中心混音模塊(17)；終端混音模塊(4)接收會議成員的音頻流，接收邊緣混音模塊(12)或中心混音模塊(17)的下行混音音頻流；終端混音模塊(4)接收會議成員的音頻流，接收邊緣混音模塊(12)或中心混音模塊(17)的下行混音音頻流，把所有會議成員的音頻流的數據進行累加計算得到上行混音流，發送給邊緣混音模塊(12)或中心混音模塊(17)；對每個會議成員進行分別處理，把其他所有音頻流的數據進行累加計算得到混音流，把得到的邊緣混音模塊(12)或中心混音模塊(17)的下行混音音頻流的進行最終累加計算得到該會議成員的最終混音音頻流，回傳給會議成員；

S11、終端音頻模塊(3)、終端混音模塊(4)作為會議成員加入邊緣混音模塊(12)；邊緣混音模塊(12)作為會議成員加入中心混音模塊(17)；邊緣混音模塊(12)接收會議成員的音頻流，接收中心混音模塊(17)的下行混音音頻流，把所有會議成員的音頻流的數據進行累加計算得到上行混音流，發送給中心混音模塊(17)；對每個會議成員進行分別處理，把其他所有音頻流的數據進行累加計算得到混音流，把得到混音音頻流與中心混音模塊(17)的下行混音音頻流進行最終累加計算得到該會議成員的最終混音流，回傳給會議成員；

S12、終端音頻模塊(3)、終端混音模塊(4)、邊緣混音模塊(12)作為會議成員加入中心混音模塊(17)；中心混音模塊(17)接收會議成員的音頻流，中心混音模塊(17)對每個會議成員進行分別處理，把其他所有音頻流的數據進行累加計算得到該會議成員的混音流，回傳給會議成員。