[發明專利]一種用于直播流實時生成字幕的方法及系統

在審

• 申請號: 202011072549.3
• 申請日: 2020-10-09
• 公開（公告）號: CN112188241A
• 公開（公告）日: 2021-01-05
• 發明（設計）人: 唐杰;王遙遠;李慶瑜;戴立言
• 申請（專利權）人: 上海網達軟件股份有限公司
• 主分類號: H04N21/235
• 分類號: H04N21/235;H04N21/233;H04N21/236;H04N21/242;H04N21/2187
• 代理公司: 上海漢聲知識產權代理有限公司 31236
• 代理人: 胡晶

本發明涉及音視頻直播技術領域，提供了一種用于直播流實時生成字幕的方法及系統，其方法包括：對直播信源解碼得到視頻幀和音頻幀；建立AI語音翻譯引擎與轉碼引擎之間的通信；AI語音翻譯引擎向轉碼引擎獲取音頻幀，并對音頻幀實時翻譯，輸出翻譯內容；轉碼引擎實時向AI語音翻譯引擎獲取翻譯內容，通過將翻譯內容使用通過包括將翻譯內容燒入視頻幀中、將翻譯內容填充打包成字幕幀在內的任意一種方式與原始的視頻幀與音頻幀共同封裝輸出直播流。在直播時對音頻流進行實時翻譯生成字幕，實現真正的字幕與音視頻同步，并同時輸出多國語言的字幕，同時滿足不同直播流推送協議的帶字幕直播流，并且滿足播放器自由選擇不同語言的字幕顯示。

技術領域

本發明涉及音視頻直播的技術領域，尤其涉及一種用于直播流實時生成字幕的方法及系統。

背景技術

隨著時代的發展，直播行業有了質的飛躍，對高清畫質、低延時、聲畫同步等問題已經優化到了極致，然而用戶的需求并不滿足于此。

在某些場景例如各大體育賽事、大型會議報告、在線教育培訓等，字幕一般都是通過對直播錄像進行后期制作，將語言人工翻譯之后燒錄到視頻中，就是重播才可以看到字幕，然而在直播這個環節就失去了字幕帶給用戶的良好體驗。

字幕可以幫助聽力較弱的觀眾理解界面內容，由于很多字詞同音，只有通過字幕文字和音頻結合來觀看，才能更加清楚節目內容。另外，字幕也能用于翻譯外語節目，讓不理解該外語的觀眾，既能聽見原作的聲音，同時理解節目內容。

直播實時生成字幕的功能還不成熟，特別是直播時聲音字幕畫面的同步問題，也就是字幕與聲音畫面不同步，時而超前時而延后，給用戶的體驗不佳。

在現有的推流協議中，比如rtmp并不支持外掛字幕，攜帶字幕需將字幕燒入到視頻中。有些用戶在播放的時候要求自由選擇不同語言的字幕，字幕需以外掛的形式存在。

還有用戶可能來自不同的國家，需同時生成多國語言來滿足不同國家的用戶需求。

發明內容

針對上述問題，本發明的目的在于提供一種用于直播流實時生成字幕的方法及系統。針對于現有的直播實時生成字幕技術存在的缺陷，在直播時對音頻流進行實時翻譯生成字幕，實現真正的字幕與音視頻同步，并同時輸出多國語言的字幕，同時滿足不同直播流推送協議的帶字幕直播流，并且滿足播放器自由選擇不同語言的字幕顯示。

本發明的上述發明目的是通過以下技術方案得以實現的：

一種用于直播流實時生成字幕的方法，包括以下步驟：

S1：獲取直播信源，通過轉碼引擎開啟解封裝解碼線程，對所述直播信源解碼得到視頻幀和音頻幀；

S2：建立AI語音翻譯引擎，并建立所述AI語音翻譯引擎與所述轉碼引擎之間的通信；

S3：所述AI語音翻譯引擎向所述轉碼引擎獲取所述音頻幀，并對所述音頻幀實時翻譯，輸出翻譯內容；

S4：所述轉碼引擎實時向所述AI語音翻譯引擎獲取所述翻譯內容，通過將所述翻譯內容使用通過包括將所述翻譯內容燒入所述視頻幀中、將所述翻譯內容填充打包成字幕幀在內的任意一種方式與原始的所述視頻幀與所述音頻幀共同封裝輸出直播流。

進一步地，通過websocket建立所述AI語音翻譯引擎與所述轉碼引擎之間的通信，具體為：

在所述轉碼引擎上建立websocket服務端A和websocket客戶端B；

在所述AI語音翻譯引擎上建立websocket客戶端C和websocket服務端D；

所述websocket客戶端C向所述websocket服務端A發起鑒權請求，鑒權成功建立連接，所述AI語音翻譯引擎通過websocket通信實時向所述轉碼引擎獲取所述音頻幀；