[發明專利]Android平臺下RTMP音視頻推流中啟停音頻容錯方法及系統

有效

• 申請號: 202110276764.3
• 申請日: 2021-03-15
• 公開（公告）號: CN113038181B
• 公開（公告）日: 2021-12-21
• 發明（設計）人: 李翀;張金杰;張士波;劉學敏;王宇宸
• 申請（專利權）人: 中國科學院計算機網絡信息中心
• 主分類號: H04N21/2343
• 分類號: H04N21/2343;H04N21/433;H04N21/439;H04N21/4402;H04N21/6437;H04N21/81
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 李文濤

本發明公開一種Android平臺下RTMP音視頻推流中啟停音頻容錯方法及系統，涉及移動應用開發和流媒體技術領域，通過在錄制時設置一個私有的靜態成員變量和一個公開的成員方法，在推送時針對暫停音頻的情況，通過靜態成員變量指示和更改狀態，通過成員方法調用預先錄制的靜默音頻幀來無縫銜接音頻流進行推送，克服了RTMP音視頻推流過程中錄制端啟停音頻會造成播放畫面卡死、播放失敗的問題。

技術領域

本發明涉及移動應用開發和流媒體技術領域，是一種Android平臺下RTMP音視頻推流中啟停音頻容錯方法及系統。

背景技術

隨著移動互聯網技術的快速發展、4G網絡的全面普及和5G網絡的快速部署，誕生出了眾多新興產業，其中最火熱的當屬直播、監控等流媒體產業。視頻直播的流程大體可以分成采集、處理、編碼封裝、推流到服務器、服務器流分發和播放器流播放6個步驟。

采集是整個視頻推流過程中的第一個環節，它從系統的采集設備中獲取原始視頻數據，將其輸出到下一個環節。視頻的采集涉及兩方面數據的采集：音頻采集和圖像采集，它們分別對應兩種完全不同的輸入源和數據格式。

音頻的采集過程主要通過設備將環境中的模擬信號采集成PCM編碼的原始數據，然后編碼壓縮成MP3等格式的數據分發出去。AudioRecord是Android系統提供的用于實現錄音功能的API。在Android系統中，多個進程不能同時調用AudioRecord，否則會返回錯誤。

圖像的采集過程主要由攝像頭等設備拍攝成YUV編碼的原始數據，然后經過編碼壓縮成H.264等格式的數據分發出去。

推流是直播過程中相當重要的一步，推送協議主要有三種：RTMP，RTSP和HLS。RTMP是目前主流的流媒體傳輸協議，廣泛用于直播領域，市面上絕大多數的直播產品都采用了這個協議。

在Android設備上進行RTMP音視頻推流時，若錄制端關閉音頻，在播放端多數RTMP播放器會出現畫面卡死，播放失敗等情況。這是由于RTMP協議內部使用時間戳來進行音視頻同步。同時推送音視頻數據流時，時間戳會同步到音頻的時間戳，當推流過程中停止推送音頻時，時間戳的處理就會出錯，播放器無法解析視頻幀數據，導致畫面會出現卡死、播放失敗等情況。當需要暫停音頻或者釋放掉AudioRecord資源以供其他進程使用時，就不得不先停止推流，再單獨推送視頻數據。重啟推流的過程需要一定的時間，因此連續的數據流就會出現中斷，導致視頻畫面出現停頓或黑屏的情況，致使錄制端用戶體驗不佳。更進一步來說，對于實時性要求較高的應用場景，這種策略會導致部分數據的丟失，可能會帶來令人難以接受的損失。目前還沒有一種能夠在不停止視頻推流的情況下啟停音頻的解決方案，該問題亟待解決。

發明內容

本發明旨在實現一種基于Android平臺的能夠在RTMP音視頻推流過程中啟停音頻的容錯方法及系統，能夠解決RTMP音視頻推流過程中錄制端啟停音頻會造成播放畫面卡死、播放失敗的問題，擴展了流媒體技術的應用場景，提升了錄制端用戶體驗。

為實現上述目的，本發明采用以下技術方案：

一種Android平臺下RTMP音視頻推流中啟停音頻容錯方法，包括以下步驟：

Android設備在進行RTMP音視頻流的錄制編碼時，設置一個私有的靜態成員變量和一個公開的成員方法，該成員變量用于指示音頻推送狀態，該成員方法用于切換音頻推送狀態；

當在音頻推送過程中暫停音頻時，調用該成員方法，讀取該成員變量并將該成員變量更改為暫停狀態，停止音頻的采集和編碼，釋放AudioStudio資源，推送預先準備好的靜默音頻幀，無縫銜接音頻流進行推送；

當重新推送音頻時，調用該成員方法，讀取該成員變量并將該成員變量更改為推送狀態，停止推送靜默音頻幀，重新啟動AudioStduio構造函數和編碼器，采集聲音數據，并編碼合成為音頻流進行推送。