[發(fā)明專利]一種基于組播的webrtc的視頻流傳輸系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011239708.4
• 申請(qǐng)日: 2020-11-09
• 公開(kāi)（公告）號(hào): CN112423007B
• 公開(kāi)（公告）日: 2022-07-08
• 發(fā)明（設(shè)計(jì)）人: 陳尚武;李華松;吳宣輝
• 申請(qǐng)（專利權(quán)）人: 杭州敘簡(jiǎn)科技股份有限公司
• 主分類號(hào): H04N21/2187
• 分類號(hào): H04N21/2187;H04N21/2347;H04N21/41;H04N21/4405;H04N21/63;H04N21/6405;H04N21/6437
• 代理公司: 浙江傳衡律師事務(wù)所 33387
• 代理人: 葉衛(wèi)強(qiáng)

1.一種基于組播的webrtc的視頻流傳輸系統(tǒng)，其特征在于，包含源端視頻采集模塊(1)，源端webrtc信令模塊(2)，源端DTLS模塊(3)，源端SRTP模塊(4)，源端組播發(fā)送模塊(5)，中心webrtc信令控制模塊(6)，組播網(wǎng)絡(luò)交換機(jī)(7)，顯示端組播接收(8)，顯示端webrtc信令模塊(9)，顯示端DTLS模塊(10)，顯示端SRTP模塊(11)，顯示端視頻顯示模塊(12)，源端虛擬通道模塊(13)，顯示端虛擬通道模塊(14)；

源端視頻采集模塊(1)：做一對(duì)多的視頻源，實(shí)時(shí)采集視頻數(shù)據(jù)進(jìn)行視頻壓縮編碼，發(fā)送給源端SRTP模塊(4)；

源端webrtc信令模塊(2)：是源端的webrtc信令交互與控制模塊；源端webrtc信令模塊(2)使用websocket連接到中心webrtc信令控制模塊(6)；接收到中心webrtc信令控制模塊(6)的視頻查看webrtc的請(qǐng)求消息，攜帶STUN的用戶名與密碼，用于源端DTLS模塊(3)認(rèn)證，如果源端沒(méi)有發(fā)送視頻流，通知源端SRTP模塊(4)生成SRTP對(duì)稱加密的密鑰，通知源端SRTP模塊(4)生成證書(shū)，通知源端視頻采集模塊(1)開(kāi)始采集視頻，通知源端組播發(fā)送模塊(5)向組播網(wǎng)絡(luò)交換機(jī)(7)的組播組的IP地址發(fā)送視頻流，源端webrtc信令模塊(2)通知源端虛擬通道模塊(13)加入組播網(wǎng)絡(luò)交換機(jī)(7)的組播組；如果源端已發(fā)送視頻流，源端webrtc信令模塊(2)向中心webrtc信令控制模塊(6)反饋的視頻查看webrtcICE的響應(yīng)消息的視頻傳輸通道，視頻傳輸通道的ICE候選地址使用組播組的IP地址；通知源端DTLS模塊(3)接收反向虛擬連接；

源端DTLS模塊(3)：源端DTLS模塊(3)等待顯示端DTLS模塊(10)建立反向虛擬連接，把SRTP模塊(4)的SRTP對(duì)稱加密的密鑰通過(guò)加密包文發(fā)送給顯示端DTLS模塊(10)；源端DTLS模塊(3)通過(guò)源端虛擬通道模塊(13)來(lái)接收顯示端DTLS模塊(10)消息，通過(guò)源端組播發(fā)送模塊(5)向顯示端DTLS模塊(10)發(fā)送消息；源端DTLS模塊(3)為DTLS服務(wù)端，等待顯示端DTLS模塊(10)的client_hello的DTLS建立消息，源端DTLS模塊(3)向顯示端DTLS模塊(10)下發(fā)服務(wù)端加密證書(shū)，顯示端DTLS模塊(10)向源端DTLS模塊(3)下發(fā)客戶端加密證書(shū)，源端DTLS模塊(3)使用客戶端加密證書(shū)加密報(bào)文，只有顯示端DTLS模塊(10)能解析，顯示端DTLS模塊(10)使用服務(wù)端加密證書(shū)加密報(bào)文，只有源端DTLS模塊(3)能解析，這樣源端DTLS模塊(3)與顯示端DTLS模塊(10)建立雙向虛擬安全通道后；顯示端DTLS模塊(10)發(fā)起STUN捆綁請(qǐng)求，進(jìn)行連通性測(cè)試，STUN捆綁請(qǐng)求攜帶用戶名與密碼，源端DTLS模塊(3)把STUN捆綁請(qǐng)求的用戶名與密碼和源端webrtc信令模塊(2)接收Offer攜帶STUN的用戶名與密碼匹配檢查，如果符合則STUN捆綁響應(yīng)給顯示端DTLS模塊(10)，連通性測(cè)試成功，源端DTLS模塊(3)把SRTP模塊(4)的SRTP對(duì)稱加密的密鑰發(fā)送給顯示端DTLS模塊(10)；

源端SRTP模塊(4)：接收源端視頻采集模塊(1)的視頻壓縮數(shù)據(jù)進(jìn)行加密，使用SRTP協(xié)議打包，把SRTP加密視頻流給源端組播發(fā)送模塊(5)；源端SRTP模塊(4)接收源端webrtc信令模塊(2)的對(duì)稱加密的密鑰生成通知，把生成的密鑰發(fā)給源端DTLS模塊(3)；

源端組播發(fā)送模塊(5)：接收源端SRTP模塊(4)的加密視頻流向組播網(wǎng)絡(luò)交換機(jī)(7)的組播組的IP地址發(fā)送；源端組播發(fā)送模塊(5)只發(fā)一路加密視頻流，如果有多個(gè)顯示端需要查看，由組播網(wǎng)絡(luò)交換機(jī)(7)進(jìn)行復(fù)制轉(zhuǎn)發(fā)；接收源端DTLS模塊(3)的報(bào)文，向組播網(wǎng)絡(luò)交換機(jī)(7)的組播組的IP地址發(fā)送，協(xié)助源端DTLS模塊(3)進(jìn)行SRTP密鑰協(xié)商；

中心webrtc信令控制模塊(6)：支持接受源端webrtc信令模塊(2)與顯示端webrtc信令模塊(9)的websocket連接，并轉(zhuǎn)發(fā)信令報(bào)文，實(shí)現(xiàn)源端webrtc信令模塊(2)與顯示端webrtc信令模塊(9)信令的視頻查看webrtc的請(qǐng)求消息與響應(yīng)消息交互；

組播網(wǎng)絡(luò)交換機(jī)(7)：支持組播一個(gè)或一組網(wǎng)絡(luò)交換機(jī)，為每個(gè)源端提供組播組的源端地址，實(shí)現(xiàn)一對(duì)多視頻網(wǎng)絡(luò)流分發(fā)；

顯示端組播接收(8)：顯示端webrtc信令模塊(9)通知顯示端組播接收(8)的源端的組播組的IP地址，顯示端組播接收(8)根據(jù)IP地址加入組播網(wǎng)絡(luò)交換機(jī)(7)的組播組，開(kāi)始接收該組播組的視頻流加密數(shù)據(jù)與DTLS協(xié)商數(shù)據(jù)；顯示端組播接收(8)把視頻流加密數(shù)據(jù)發(fā)送給顯示端SRTP模塊(11)，顯示端組播接收(8)把DTLS協(xié)商數(shù)據(jù)發(fā)送給顯示端DTLS模塊(10)；

顯示端webrtc信令模塊(9)：顯示端的webrtc信令交互與控制模塊；顯示端webrtc信令模塊(9)使用websocket連接到中心webrtc信令控制模塊(6)；顯示端webrtc信令模塊(9)向中心webrtc信令控制模塊(6)發(fā)送視頻查看webrtc的請(qǐng)求消息，攜帶STUN的用戶名與密碼，用于源端DTLS模塊(3)認(rèn)證，接收中心webrtc信令控制模塊(6)的響應(yīng)消息，響應(yīng)消息攜帶組播組地址，通知顯示端組播接收(8)加入組播組，通知顯示端虛擬通道模塊(14)組播組的地址，顯示端虛擬通道模塊(14)向組播網(wǎng)絡(luò)交換機(jī)(7)的組播組的IP地址發(fā)送反向數(shù)據(jù)；

顯示端DTLS模塊(10)：顯示端DTLS模塊(10)與源端DTLS模塊(3)進(jìn)行交互通信，把源端SRTP模塊(4)的SRTP對(duì)稱加密的密鑰通過(guò)加密報(bào)文發(fā)送給顯示端DTLS模塊(10)；源端DTLS模塊(3)通過(guò)源端虛擬通道模塊(13)來(lái)接收顯示端DTLS模塊(10)消息，通過(guò)源端組播發(fā)送模塊(5)向顯示端DTLS模塊(10)發(fā)送消息；源端DTLS模塊(3)為DTLS服務(wù)端，等待顯示端DTLS模塊(10)的client_hello的DTLS建立消息，源端DTLS模塊(3)向顯示端DTLS模塊(10)下發(fā)服務(wù)端加密證書(shū)，顯示端DTLS模塊(10)向源端DTLS模塊(3)下發(fā)客戶端加密證書(shū)，源端DTLS模塊(3)使用客戶端加密證書(shū)加密報(bào)文，只有顯示端DTLS模塊(10)能解析，顯示端DTLS模塊(10)使用服務(wù)端加密證書(shū)加密報(bào)文，只有源端DTLS模塊(3)能解析，這樣源端DTLS模塊(3)與顯示端DTLS模塊(10)建立雙向虛擬安全通道后；顯示端DTLS模塊(10)發(fā)起STUN捆綁請(qǐng)求，進(jìn)行連通性測(cè)試，STUN捆綁請(qǐng)求攜帶用戶名與密碼，源端DTLS模塊(3)把STUN捆綁請(qǐng)求的用戶名與密碼和源端webrtc信令模塊(2)接收Offer攜帶STUN的用戶名與密碼匹配檢查，如果符合則STUN捆綁響應(yīng)給顯示端DTLS模塊(10)，連通性測(cè)試成功，源端DTLS模塊(3)把SRTP模塊(4)的SRTP對(duì)稱加密的密鑰發(fā)送給顯示端DTLS模塊(10)；顯示端DTLS模塊(10)把SRTP對(duì)稱加密的密鑰發(fā)送給顯示端SRTP模塊(11)；

顯示端SRTP模塊(11):顯示端SRTP模塊(11)接收顯示端DTLS模塊(10)的SRTP對(duì)稱加密的密鑰，接收顯示端組播接收(8)的SRTP加密視頻流；使用SRTP對(duì)稱加密的密鑰對(duì)加密視頻流解密；顯示端SRTP模塊(11)發(fā)現(xiàn)視頻流丟包，則通知顯示端虛擬通道模塊(14)發(fā)送丟包重傳請(qǐng)求；顯示端SRTP模塊(11)把解密后視頻流發(fā)送給顯示端視頻顯示模塊(12)；

顯示端視頻顯示模塊(12)：接收顯示端SRTP模塊(11)的視頻流，進(jìn)行解碼顯示。