[發明專利]一種顯示直播字幕的方法、裝置、服務器及介質

在審

• 申請號: 201911364479.6
• 申請日: 2019-12-26
• 公開（公告）號: CN111010614A
• 公開（公告）日: 2020-04-14
• 發明（設計）人: 孫鵬飛;張濤
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: H04N21/488
• 分類號: H04N21/488;H04N21/8547;H04N21/43;H04N21/2187;H04N21/233;H04N21/2343;H04N21/858
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 李欣;高鶯然

1.一種顯示直播字幕的方法，其特征在于，所述方法應用于服務器，所述方法包括：

接收直播管理系統發送的直播任務指令；

基于所述直播任務指令接收并緩存所述直播管理系統發送的音頻數據和視頻幀數據，并對所述音頻數據進行語音識別，得到所述音頻數據對應的文本數據；

根據所述文本數據的時間戳和所述視頻幀數據的時間戳，將所述文本數據疊加至與所述文本數據的時間戳相同的視頻幀數據，得到攜帶字幕信息的視頻幀數據；

輸出由所述攜帶字幕信息的視頻幀數據和所述音頻數據組成的媒體流。

2.根據權利要求1所述的方法，其特征在于，所述基于所述直播任務指令接收并緩存所述直播管理系統發送的音頻數據和視頻數據，并對所述音頻數據進行語音識別，得到所述音頻數據對應的文本數據，包括：

解析所述直播任務指令；

若所述直播任務指令中攜帶語音識別參數，則接收并緩存所述直播管理系統發送的音頻數據和視頻數據，同時對所述音頻數據進行語音識別，得到所述音頻數據對應的文本數據。

3.根據權利要求1或2所述的方法，其特征在于，所述對所述音頻數據進行語音識別，得到所述音頻數據對應的文本數據，包括：

對所述音頻數據進行重采樣，得到指定采樣率的脈沖編碼調制PCM數據，并基于所述音頻數據的時間戳為所述PCM數據添加時間戳；

將PCM數據組合為指定大小的PCM包；

每隔預設時間間隔對一個PCM包中的PCM數據進行語音識別，得到所述PCM包中的PCM數據對應的文本數據；

將所述PCM包中的PCM數據對應的文本數據緩存至文本處理隊列。

4.根據權利要求3所述的方法，其特征在于，所述根據所述文本數據的時間戳和所述視頻幀數據的時間戳，將所述文本數據疊加值與所述文本數據時間戳相同的視頻幀數據，得到攜帶字幕信息的視頻幀數據，包括：

當存在視頻幀數據緩存超時時，從所述文本處理隊列獲取與所述視頻幀數據時間戳相同的文本數據，將獲取到的文本數據作為字幕信息疊加至所述視頻幀數據，得到攜帶字幕信息的視頻幀數據。

5.根據權利要求4所述的方法，其特征在于，在所述將獲取到的文本數據作為字幕信息疊加至所述視頻幀數據，得到攜帶字幕信息的視頻幀數據之后，所述方法還包括：

將所述攜帶字幕信息的視頻幀數據和與所述攜帶字幕信息的視頻幀數據時間戳相同的音頻數據進行音視頻同步處理。

6.根據權利要求5所述的方法，其特征在于，所述將所述攜帶字幕信息的視頻幀數據和與所述攜帶字幕信息的視頻幀數據時間戳相同的音頻數據進行音視頻同步處理，包括：

將所述攜帶字幕信息視頻幀數據和與所述視頻幀數據時間戳相同的音頻數據輸入緩存區，在所述緩存區中對所述攜帶字幕信息的視頻幀數據和與所述攜帶字幕信息的視頻幀數據時間戳相同的音頻數據進行音視頻同步處理；

所述輸出由所述攜帶字幕信息的視頻幀數據和所述音頻數據組成的媒體流，包括：

在經過音視頻同步處理的所述攜帶字幕信息的視頻幀數據和所述音頻數據在所述緩存區的緩存時長達到指定時長時，輸出由所述攜帶字幕信息的視頻幀數據和所述音頻數據組成的媒體流。

7.一種顯示直播字幕的裝置，其特征在于，所述裝置應用于服務器，所述裝置包括：

接收模塊，用于接收直播管理系統發送的直播任務指令；以及基于所述直播任務指令接收并緩存所述直播管理系統發送的音頻數據和視頻幀數據；

語音識別模塊，用于對所述音頻數據進行語音識別，得到所述音頻數據對應的文本數據；

疊加模塊，用于根據所述文本數據的時間戳和所述視頻幀數據的時間戳，將所述文本數據疊加至與所述文本數據的時間戳相同的視頻幀數據，得到攜帶字幕信息的視頻幀數據；

輸出模塊，用于輸出由所述攜帶字幕信息的視頻幀數據和所述音頻數據組成的媒體流。