[發明專利]一種顯示直播字幕的方法、裝置、服務器及介質

在審

• 申請號: 201911364479.6
• 申請日: 2019-12-26
• 公開（公告）號: CN111010614A
• 公開（公告）日: 2020-04-14
• 發明（設計）人: 孫鵬飛;張濤
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: H04N21/488
• 分類號: H04N21/488;H04N21/8547;H04N21/43;H04N21/2187;H04N21/233;H04N21/2343;H04N21/858
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 李欣;高鶯然

本發明實施例提供了一種顯示直播字幕的方法、裝置、服務器及介質，涉及信息處理技術領域。本申請實施例的方案包括：接收直播管理系統發送的直播任務指令，基于直播任務指令接收并緩存直播管理系統發送的音頻數據和視頻幀數據，并對音頻數據進行語音識別，得到音頻數據對應的文本數據，然后根據文本數據的時間戳和視頻幀數據的時間戳，將文本數據疊加至與文本數據的時間戳相同的視頻幀數據，得到攜帶字幕信息的視頻幀數據，并輸出由攜帶字幕信息的視頻幀數據和音頻數據組成的媒體流。采用該方法可以實現為直播視頻顯示字幕。

技術領域

本發明涉及信息處理技術領域，特別是涉及一種顯示直播字幕的方法、裝置、服務器及介質。

背景技術

目前，大多數視頻內容都有字幕，比如春節晚會、電視劇、電影等，都會在播放過程中同步顯示字幕。這類視頻中的字幕都是在離線狀態由人工錄入的，即視頻錄制完成后，先由人工錄入字幕，然后才能實現在播放過程中同步顯示字幕。

而對于直播視頻，需在錄制的同時進行播放，所以無法先由人工錄制字幕再播放，導致目前在直播過程中無法同步顯示直播視頻的字幕。

發明內容

本發明實施例的目的在于提供一種顯示直播字幕的方法、裝置、電子設備及介質，以解決直播視頻在直播過程中無法同步顯示字幕的問題。具體技術方案如下：

第一方面，本申請實施例提供一種顯示直播字幕的方法，所述方法應用于服務器，所述方法包括：

接收直播管理系統發送的直播任務指令；

基于所述直播任務指令接收并緩存所述直播管理系統發送的音頻數據和視頻幀數據，并對所述音頻數據進行語音識別，得到所述音頻數據對應的文本數據；

根據所述文本數據的時間戳和所述視頻幀數據的時間戳，將所述文本數據疊加至與所述文本數據的時間戳相同的視頻幀數據，得到攜帶字幕信息的視頻幀數據；

輸出由所述攜帶字幕信息的視頻幀數據和所述音頻數據組成的媒體流。

在一種可能的實現方式中，所述基于所述直播任務指令接收并緩存所述直播管理系統發送的音頻數據和視頻數據，并對所述音頻數據進行語音識別，得到所述音頻數據對應的文本數據，包括：

解析所述直播任務指令；

若所述直播任務指令中攜帶語音識別參數，則接收并緩存所述直播管理系統發送的音頻數據和視頻數據，同時對所述音頻數據進行語音識別，得到所述音頻數據對應的文本數據。

在一種可能的實現方式中，所述對所述音頻數據進行語音識別，得到所述音頻數據對應的文本數據，包括：

對所述音頻數據進行重采樣，得到指定采樣率的脈沖編碼調制PCM數據，并基于所述音頻數據的時間戳為所述PCM數據添加時間戳；

將PCM數據組合為指定大小的PCM包；

每隔預設時間間隔對一個PCM包中的PCM數據進行語音識別，得到所述PCM包中的PCM數據對應的文本數據；

將所述PCM包中的PCM數據對應的文本數據緩存至文本處理隊列。

在一種可能的實現方式中，所述根據所述文本數據的時間戳和所述視頻幀數據的時間戳，將所述文本數據疊加值與所述文本數據時間戳相同的視頻幀數據，得到攜帶字幕信息的視頻幀數據，包括：

當存在視頻幀數據緩存超時時，從所述文本處理隊列獲取與所述視頻幀數據時間戳相同的文本數據，將獲取到的文本數據作為字幕信息疊加至所述視頻幀數據，得到攜帶字幕信息的視頻幀數據。

在一種可能的實現方式中，在所述將獲取到的文本數據作為字幕信息疊加至所述視頻幀數據，得到攜帶字幕信息的視頻幀數據之后，所述方法還包括：