[發明專利]基于文檔類直播交互數據和音視頻數據同步方法和系統

有效

• 申請號: 201811528605.2
• 申請日: 2018-12-13
• 公開（公告）號: CN109640108B
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 魯和平;黃海亮;梁瑛瑋;洪行健;李長杰;冷冬;丁一
• 申請（專利權）人: 廣州易方信息科技股份有限公司
• 主分類號: H04N21/2187
• 分類號: H04N21/2187;H04N21/43;H04N21/443;H04N21/8547
• 代理公司: 佛山幫專知識產權代理事務所(普通合伙) 44387
• 代理人: 顏德昊

1.一種基于文檔類直播交互數據和音視頻數據同步方法，其特征在于，包括：

步驟1，接收上傳的文檔并將文檔轉換成圖片；

步驟2，加載文檔對應的圖片到應用程序開發框架的窗口顯示；

步驟3，通過應用程序開發框架記錄直播開始的鼠標點擊事件，記錄當前時間作為起始時間戳；

步驟4，在直播開始同時將音視頻數據發送至CDN網絡；

步驟5，通過應用程序開發框架采集用戶的文檔交互數據，將文檔交互數據發送至websockets服務器；其中，所述文檔交互數據包括對齊時間戳，所述對齊時間戳是以起始時間戳為基準的相對時間戳；

步驟6，播放端從CDN網絡接收到音視頻數據，從websockets服務器接收文檔交互數據；播放端根據當前播放音視頻的時長和文檔交互數據中的對齊時間戳進行對比，確定播放時長大于對齊時間戳時，將文檔交互數據繪制到文檔播放窗口。

2.如權利要求1所述基于文檔類直播交互數據和音視頻數據同步方法，其特征在于，步驟3包括：通過應用程序開發框架響應鼠標事件機制記錄用戶對表示直播開始的界面元素進行點擊的鼠標點擊事件，記錄當前時間作為起始時間戳。

3.如權利要求1所述基于文檔類直播交互數據和音視頻數據同步方法，其特征在于，文檔交互數據包括畫筆繪制數據，則步驟5包括：通過應用程序開發框架響應鼠標事件機制和繪制機制記錄鼠標動作，調用應用程序開發框架的對應函數完成畫筆繪制。

4.如權利要求1所述基于文檔類直播交互數據和音視頻數據同步方法，其特征在于，文檔交互數據包括用戶操作數據，則步驟5包括：通過應用程序開發框架響應鼠標事件機制和繪制機制記錄包括文檔翻頁、刪除繪制數據和清空繪制數據在內任意一種用戶操作。

5.如權利要求1所述基于文檔類直播交互數據和音視頻數據同步方法，其特征在于，步驟5中包括：

步驟51，通過應用程序開發框架采集用戶的文檔交互數據；

步驟52，通過http請求將文檔交互數據發送到websockets服務器，若發送超過預設時間則重發文檔交互數據。

6.一種基于文檔類直播交互數據和音視頻數據同步系統，其特征在于，包括：

采集端和播放端，其中采集端包括接收轉換模塊、加載模塊、記錄模塊、音視頻發送模塊和交互發送模塊；

接收轉換模塊，用于接收上傳的文檔并將文檔轉換成圖片；

加載模塊，用于加載文檔對應的圖片到應用程序開發框架的窗口顯示；

記錄模塊，用于通過應用程序開發框架記錄直播開始的鼠標點擊事件，記錄當前時間作為起始時間戳；

音視頻發送模塊，用于在直播開始同時將音視頻數據發送至CDN網絡；

交互發送模塊，用于通過應用程序開發框架采集用戶的文檔交互數據，將文檔交互數據發送至websockets服務器；其中，所述文檔交互數據包括對齊時間戳，所述對齊時間戳是以起始時間戳為基準的相對時間戳；

播放端，用于從CDN網絡接收到音視頻數據，從websockets服務器接收文檔交互數據；播放端根據當前播放音視頻的時長和文檔交互數據中的對齊時間戳進行對比，確定播放時長大于對齊時間戳時，將文檔交互數據繪制到文檔播放窗口。

7.如權利要求6所述基于文檔類直播交互數據和音視頻數據同步系統，其特征在于，記錄模塊具體用于通過應用程序開發框架響應鼠標事件機制記錄用戶對表示直播開始的界面元素進行點擊的鼠標點擊事件，記錄當前時間作為起始時間戳。

8.如權利要求6所述基于文檔類直播交互數據和音視頻數據同步系統，其特征在于，文檔交互數據包括畫筆繪制數據，則交互發送模塊具體用于通過應用程序開發框架響應鼠標事件機制和繪制機制記錄鼠標動作，調用應用程序開發框架的對應函數完成畫筆繪制。