[發明專利]一種慧視云課堂教學系統音視頻低延遲方法

在審

• 申請號: 201811281539.3
• 申請日: 2018-10-23
• 公開（公告）號: CN109348307A
• 公開（公告）日: 2019-02-15
• 發明（設計）人: 林傳文;汪俊鋒;張巧云;高祥
• 申請（專利權）人: 安徽慧視金瞳科技有限公司
• 主分類號: H04N21/643
• 分類號: H04N21/643;H04N21/433;H04N21/44;H04N21/439;H04N21/462
• 代理公司: 上海精晟知識產權代理有限公司 31253
• 代理人: 馮子玲

本發明公開了一種慧視云課堂教學系統音視頻低延遲方法，涉及音視頻低延遲處理技術領域。本發明包括包括：采集音視頻數據、音視頻編碼壓縮、音視頻分發、客戶端接受音視頻、音視頻低延遲處理、音視頻數據解碼。本發明通過建立中轉數據站用于接收發送客戶端的音視頻數據并通過UDP協議將音視頻數據發送到目的客戶端，并在客戶端通過修改讀取數據的速度、對緩沖區清空處理、拋棄損壞數據對音視頻低延遲處理，避免了音視頻在傳輸和播放過程中的卡頓、失真、延遲問題，提高了音視頻在傳輸和播放的速率。

技術領域

本發明屬于音視頻低延遲處理技術領域，特別是涉及一種慧視云課堂教學系統音視頻低延遲方法。

背景技術

隨著科技發展，距離已不再是人類的短板，在教師與學生上課方面，也突破了距離限制，教師可以在家安心上課，學生也可在家安心聽課。慧視云課堂就是實現遠程多用戶交互的教學工具，實現了遠距離教師學生一起上課、聊天、視頻、語音等等。

良好的聲音圖像傳輸會讓整個系統更加生動活潑，更好的拉近老師與學生之間的距離，所以音視頻低延遲算法顯得尤為重要。在正常使用的情況下不可能保證每臺客戶端的網絡情況和計算機運行狀態都很好，這就會讓音視頻出現卡頓、失真、延遲等各種突發狀況，

本發明一種慧視云課堂教學系統音視頻低延遲方法，致力于降低音視頻延遲和音視頻延遲。

發明內容

本發明的目的在于提供一種慧視云課堂教學系統音視頻低延遲方法，通過建立中轉數據站用于接收發送客戶端的音視頻數據并通過UDP協議將音視頻數據發送到目的客戶端，并在客戶端通過修改讀取數據的速度、對緩沖區清空處理、拋棄損壞數據對音視頻低延遲處理，解決了現有的音視頻在傳輸和播放過程中的卡頓、失真、延遲等問題。

為解決上述技術問題，本發明是通過以下技術方案實現的：

本發明為一種慧視云課堂教學系統音視頻低延遲方法，包括：

S00：采集音視頻數據：發送客戶端收集麥克風PCM格式聲音信息以及攝像頭拍攝的BMG格式照片；

S01：音視頻編碼壓縮：發送客戶端把采集到的PCM音頻壓縮成g729編碼同時將BMP格式照片壓縮為JPEG格式；

S02：音視頻分發：建立中轉數據站，所述中轉數據站接收發送客戶端的音視頻數據，通過UDP協議將音視頻數據發送到目的客戶端；

其中，所述中轉數據站分析用戶類型及狀態判斷發送用戶數量同時采用；所述中轉數據站采用線程池且線程池采用最大80線程；

S03：客戶端接受音視頻：所述目的客戶端接收音視頻數據并保存在UDP緩存區中，同時解析udp報文并判斷數據是音頻數據或視頻數據；

S04：音視頻低延遲處理：所述目的客戶端建立緩存區；若所述目的客戶端卡頓，則修改讀取數據的速度；若卡頓嚴重，則對緩沖區清空處理；若網絡卡頓導致數據不能接收，則減慢緩存區取值速度；若數據損壞時，則拋棄損壞數據；

S05：音視頻數據解碼：在學生進入課堂時，創建一個播放聲音播放器并將獲取到的音視頻數據、分別解碼。

優選地，所述聲音信息是指采集麥克風聲音信息；所述聲音信息的聲音格式為16bit單聲道16000hz的聲音格式且采樣率是50、采集的數據格式是PCM格式；所述攝像頭拍攝的BMP格式照片用于用戶展示視頻。

優選地，所述音視頻編碼壓縮過程中調用g729編碼庫對所述PCM音頻壓縮同時調用FreeImage開源庫將BMP格式照片壓縮為JPEG格式。

優選地，所述中轉數據站可向多個或單個用戶發送數據。

優選地，所述客戶端接收音視頻還包括如下過程：