[發明專利]一種用于直播流實時生成字幕的方法及系統

在審

• 申請號: 202011072549.3
• 申請日: 2020-10-09
• 公開（公告）號: CN112188241A
• 公開（公告）日: 2021-01-05
• 發明（設計）人: 唐杰;王遙遠;李慶瑜;戴立言
• 申請（專利權）人: 上海網達軟件股份有限公司
• 主分類號: H04N21/235
• 分類號: H04N21/235;H04N21/233;H04N21/236;H04N21/242;H04N21/2187
• 代理公司: 上海漢聲知識產權代理有限公司 31236
• 代理人: 胡晶

1.一種用于直播流實時生成字幕的方法，其特征在于，包括以下步驟：

S1：獲取直播信源，通過轉碼引擎開啟解封裝解碼線程，對所述直播信源解碼得到視頻幀和音頻幀；

S2：建立AI語音翻譯引擎，并建立所述AI語音翻譯引擎與所述轉碼引擎之間的通信；

S3：所述AI語音翻譯引擎向所述轉碼引擎獲取所述音頻幀，并對所述音頻幀實時翻譯，輸出翻譯內容；

S4：所述轉碼引擎實時向所述AI語音翻譯引擎獲取所述翻譯內容，通過將所述翻譯內容使用通過包括將所述翻譯內容燒入所述視頻幀中、將所述翻譯內容填充打包成字幕幀在內的任意一種方式與原始的所述視頻幀與所述音頻幀共同封裝輸出直播流。

2.根據權利要求1所述的用于直播流實時生成字幕的方法，其特征在于，還包括:

通過websocket建立所述AI語音翻譯引擎與所述轉碼引擎之間的通信，具體為：

在所述轉碼引擎上建立websocket服務端A和websocket客戶端B；

在所述AI語音翻譯引擎上建立websocket客戶端C和websocket服務端D；

所述websocket客戶端C向所述websocket服務端A發起鑒權請求，鑒權成功建立連接，所述AI語音翻譯引擎通過websocket通信實時向所述轉碼引擎獲取所述音頻幀；

所述websocket客戶端B向所述websocket服務端D發起鑒權請求，鑒權成功建立連接，所述轉碼引擎通過websocket通信實時向所述AI語音翻譯引擎獲取所述翻譯內容。

3.根據權利要求2所述的用于直播流實時生成字幕的方法，其特征在于，包括所述websocket客戶端B和所述websocket客戶端C在內的websocket客戶端向包括所述websocket服務端A和所述websocket服務端D在內的we bsocket服務端發起的鑒權請求，具體包括如下步驟：

所述websocket客戶端預設一約定密鑰，通過MD5算法對所述約定密鑰進行加密，得到第一MD5加密密鑰；

所述websocket客戶端將所述第一MD5加密密鑰以參數的形式，附加到URL請求中；

所述websocket服務端接收到所述websocket客戶端的請求后，解析出不帶參數的URL以及所述第一MD5加密密鑰；

所述websocket服務端再次通過MD5算法對所述約定密鑰進行加密，得到第二MD5加密密鑰；

所述websocket服務端比對所述第一MD5加密密鑰與所述第二MD5加密密鑰，若相等則鑒權成功，否則鑒權失敗。

4.根據權利要求1所述的用于直播流實時生成字幕的方法，其特征在于，在步驟S4中，當通過使用將所述翻譯內容燒入所述視頻幀中的方式，與原始的所述視頻幀與所述音頻幀共同封裝輸出直播流時，適用于不支持推送外掛字幕流的流媒體服務器。

5.根據權利要求1所述的用于直播流實時生成字幕的方法，其特征在于，在步驟S4中，當通過使用將所述翻譯內容填充打包成字幕幀的方式，與原始的所述視頻幀與所述音頻幀共同封裝輸出直播流時，適用于滿足可以使用推送外掛字幕流的形式，自由選擇顯示字幕的流媒體服務器。

6.根據權利要求1所述的用于直播流實時生成字幕的方法，其特征在于，還包括：

將所述翻譯內容使用一種或多種翻譯語言，燒入所述視頻幀或單獨封裝成所述字幕幀。

7.根據權利要求1所述的用于直播流實時生成字幕的方法，其特征在于，在步驟S1中，還包括：

所述轉碼引擎對解碼得到的所述視頻幀和所述音頻幀進行時間戳校正，保證時間戳對齊且持續增長。

8.根據權利要求7所述的用于直播流實時生成字幕的方法，其特征在于，在步驟S3中，還包括：

所述AI智能語音引擎對翻譯得到的所述翻譯內容，復用所述音頻幀攜帶的時間戳，實現將所述翻譯內容與原始的所述視頻幀與所述音頻幀封裝后，保證音、畫、字幕三方同步。