[發明專利]一種數據處理方法、裝置及設備

有效

• 申請號: 202110344443.2
• 申請日: 2021-03-30
• 公開（公告）號: CN113099282B
• 公開（公告）日: 2022-06-24
• 發明（設計）人: 時永方;何玫峻;周煜
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: H04N21/43
• 分類號: H04N21/43;H04N21/488
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 熊永強;杜維

本申請實施例公開了一種數據處理方法、裝置及設備，該數據處理方法包括：拉取待推流的第一媒體流，并從第一媒體流中提取出音頻流；對音頻流進行識別處理，得到音頻流對應的字幕文本；在字幕文本與第一媒體流之間進行同步，同步包括將字幕文本添加至第一媒體流的自定義字段中，或者將字幕文本封裝至與第一媒體流相同步的字幕封裝包中；對同步后的字幕文本與第一媒體流進行封裝，形成第二媒體流；將第二媒體流推流至解碼設備。采用本申請實施例，能夠為待推流的媒體流生成同步的實時字幕。

技術領域

本申請涉及計算機技術領域，尤其涉及對多媒體數據進行處理的技術領域，具體涉及一種數據處理方法、一種數據處理裝置以及一種數據處理設備。

背景技術

在音視頻等多媒體的播放過程中，同步顯示字幕成為一種幫助人們進行文字輔助理解的重要手段。對于傳統的多媒體播放過程而言，例如VoD(Video on Demand，視頻點播)、視頻錄播等，這些多媒體具有標準、非實時等特點，在這些多媒體播放之前，服務器中已經存在相應的媒體資源，因此可以提前對媒體資源進行翻譯得到字幕，然后將字幕編碼至媒體資源中，成為媒體資源的一部分；從而在媒體資源進行播放時，同步顯示字幕。近年來，隨著移動互聯網技術的發展，非標準、實時性較高的流媒體應用(例如視頻直播應用)越來越受到人們的喜愛；以視頻直播為例，由于直播產生的媒體內容屬于用戶實時生成的UGC(User Generated Content，用戶生成內容)，具有非標準、實時性較高等特點；媒體內容以媒體流的形式實時產生、實時傳輸，這就沒辦法像傳統技術一樣進行提前翻譯得到字幕；因此，如何生成媒體流的實時字幕成為當前研究的熱點話題。

發明內容

本申請實施例提供了一種數據處理方法、裝置及設備，能夠為待推流的媒體流生成同步的實時字幕。

一方面，本申請實施例提供一種數據處理方法，該數據處理方法包括：

拉取待推流的第一媒體流，并從第一媒體流中提取出音頻流；

對音頻流進行識別處理，得到音頻流對應的字幕文本；

在字幕文本與第一媒體流之間進行同步；同步包括將字幕文本添加至第一媒體流的自定義字段中，或者將字幕文本封裝至與第一媒體流相同步的字幕封裝包中；

對同步后的字幕文本與第一媒體流進行封裝，形成第二媒體流；

將第二媒體流推流至解碼設備。

本申請實施例中，從待推流的第一媒體流中提取音頻流進行識別處理，得到音頻流對應的字幕文本；這樣，通過及時拉取待推流的第一媒體流進行音頻識別處理，可為第一媒體流生成實時的字幕文本。另外，無需將字幕文本編碼嵌入至第一媒體流中，只需在字幕文本與第一媒體流之間進行同步，再將同步后字幕文本與第一媒體流進行封裝，就可以得到第二媒體流并推流至解碼設備。同步可以包括將字幕文本添加至第一媒體流的自定義字段中，或者將字幕文本封裝至與第一媒體流相同步的字幕封裝包中；這樣得到的第二媒體流中，第一媒體流與字幕文本是相互解耦但又相互同步的，這就可以保證解碼設備在播放第一媒體流的同時能夠顯示同步的實時字幕，有效提升媒體流的播放效果，尤其適用于具備非標準、實時性較高的多媒體的播放場景。

另一方面，本申請實施例提供一種數據處理方法，該數據處理方法包括：

拉取第二媒體流；第二媒體流是對第一媒體流以及與第一媒體流同步的字幕文本進行封裝得到的；字幕文本是對第一媒體流中的音頻流進行識別處理得到的；第一媒體流與字幕文件之間的同步包括將字幕文本添加至第一媒體流的自定義字段中，或者將字幕文本封裝至與第一媒體流相同步的字幕封裝包中；

解封裝第二媒體流，得到第一媒體流和字幕文本；

若檢測到字幕顯示指令，則解析第一媒體流和字幕文本；以及，播放解析后的第一媒體流，并在第一媒體流的播放過程中同步顯示解析后的字幕文本。