[發(fā)明專利]基于文檔類直播交互數(shù)據(jù)和音視頻數(shù)據(jù)同步方法和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201811528605.2
• 申請日: 2018-12-13
• 公開（公告）號: CN109640108B
• 公開（公告）日: 2020-10-30
• 發(fā)明（設(shè)計）人: 魯和平;黃海亮;梁瑛瑋;洪行健;李長杰;冷冬;丁一
• 申請（專利權(quán)）人: 廣州易方信息科技股份有限公司
• 主分類號: H04N21/2187
• 分類號: H04N21/2187;H04N21/43;H04N21/443;H04N21/8547
• 代理公司: 佛山幫專知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44387
• 代理人: 顏德昊

本發(fā)明涉及直播領(lǐng)域，涉及一種基于文檔類直播交互數(shù)據(jù)流和音視頻流同步方法，包括：接收文檔并將文檔轉(zhuǎn)換成圖片；加載圖片到應(yīng)用程序開發(fā)框架的窗口顯示；通過應(yīng)用程序開發(fā)框架記錄直播開始的鼠標(biāo)點擊事件，記錄當(dāng)前時間作為起始時間戳；將音視頻數(shù)據(jù)發(fā)送至CDN網(wǎng)絡(luò)；通過應(yīng)用程序開發(fā)框架采集文檔交互數(shù)據(jù)并發(fā)送至websockets服務(wù)器；播放端接收音視頻數(shù)據(jù)和文檔交互數(shù)據(jù)，確定播放時長大于對齊時間戳?xí)r，將文檔交互數(shù)據(jù)繪制到文檔播放窗口。本發(fā)明還提出基于文檔類直播交互數(shù)據(jù)流和音視頻流同步系統(tǒng)。本發(fā)明通過加入對齊時間戳，然后在播放端依據(jù)當(dāng)前播放音視頻的時長和對齊時間戳進(jìn)行對比來達(dá)到交互數(shù)據(jù)和音視頻數(shù)據(jù)同步的效果。

技術(shù)領(lǐng)域

本發(fā)明涉及直播領(lǐng)域，特別涉及一種基于文檔類直播交互數(shù)據(jù)流和音視頻流同步方法和系統(tǒng)。

背景技術(shù)

現(xiàn)在的直播中，有一種類型是基于PPT、PDF等文檔類型的直播。這種直播需要采集音視頻流，還需要支持對文檔操作交互的行為，例如在文檔上繪制直線、自由線、矩形、橢圓、文字；以及文檔翻頁、繪制數(shù)據(jù)刪除、清空等交互行為，這些文檔操作的交互行為統(tǒng)一按數(shù)據(jù)流進(jìn)行傳輸。

當(dāng)前廣泛使用的直播是基于RTMP+CDN架構(gòu)的直播，這種直播的延遲一般是3-5秒，加上CDN網(wǎng)絡(luò)的抖動，播放端累計延遲可達(dá)7-8秒。但是傳輸?shù)奈臋n操作的交互行為數(shù)據(jù)流由于采用的是websockets協(xié)議，數(shù)據(jù)量低并且播放端接收的延遲大概在1秒以內(nèi)。

這樣播放端就存在一個如何在直播過程中實現(xiàn)基于文檔類直播交互數(shù)據(jù)和音視頻數(shù)據(jù)同步的問題。

發(fā)明內(nèi)容

本發(fā)明的實施方式旨在至少解決現(xiàn)有技術(shù)中存在的技術(shù)問題之一。為此，本發(fā)明的實施方式需要提供一種基于文檔類直播交互數(shù)據(jù)和音視頻數(shù)據(jù)同步方法和系統(tǒng)。

本發(fā)明實施方式的一種基于文檔類直播交互數(shù)據(jù)和音視頻數(shù)據(jù)同步方法，其特征在于，包括：

步驟1，接收上傳的文檔并將文檔轉(zhuǎn)換成圖片；

步驟2，加載文檔對應(yīng)的圖片到應(yīng)用程序開發(fā)框架的窗口顯示；

步驟3，通過應(yīng)用程序開發(fā)框架記錄直播開始的鼠標(biāo)點擊事件，記錄當(dāng)前時間作為起始時間戳；

步驟4，在直播開始同時將音視頻數(shù)據(jù)發(fā)送至CDN網(wǎng)絡(luò)；

步驟5，通過應(yīng)用程序開發(fā)框架采集用戶的文檔交互數(shù)據(jù)，將文檔交互數(shù)據(jù)發(fā)送至websockets服務(wù)器；其中，所述文檔交互數(shù)據(jù)包括對齊時間戳，所述對齊時間戳是以起始時間戳為基準(zhǔn)的相對時間戳；

步驟6，播放端從CDN網(wǎng)絡(luò)接收到音視頻數(shù)據(jù)，從websockets服務(wù)器接收文檔交互數(shù)據(jù)；播放端根據(jù)當(dāng)前播放音視頻的時長和文檔交互數(shù)據(jù)中的對齊時間戳進(jìn)行對比，確定播放時長大于對齊時間戳?xí)r，將文檔交互數(shù)據(jù)繪制到文檔播放窗口。

一種實施方式中，步驟3包括：通過應(yīng)用程序開發(fā)框架響應(yīng)鼠標(biāo)事件機(jī)制記錄用戶對表示直播開始的界面元素進(jìn)行點擊的鼠標(biāo)點擊事件，記錄當(dāng)前時間作為起始時間戳。

一種實施方式中，文檔交互數(shù)據(jù)包括畫筆繪制數(shù)據(jù)，則步驟5包括：通過應(yīng)用程序開發(fā)框架響應(yīng)鼠標(biāo)事件機(jī)制和繪制機(jī)制記錄鼠標(biāo)動作，調(diào)用應(yīng)用程序開發(fā)框架的對應(yīng)函數(shù)完成畫筆繪制。

一種實施方式中，文檔交互數(shù)據(jù)包括用戶操作數(shù)據(jù)，則步驟5包括：通過應(yīng)用程序開發(fā)框架響應(yīng)鼠標(biāo)事件機(jī)制和繪制機(jī)制記錄包括文檔翻頁、刪除繪制數(shù)據(jù)和清空繪制數(shù)據(jù)在內(nèi)任意一種用戶操作。

一種實施方式中，步驟5中包括：

步驟51，通過應(yīng)用程序開發(fā)框架采集用戶的文檔交互數(shù)據(jù)；

步驟52，通過http請求將文檔交互數(shù)據(jù)發(fā)送到websockets服務(wù)器，若發(fā)送超過預(yù)設(shè)時間則重發(fā)文檔交互數(shù)據(jù)。