[發明專利]一種數據處理方法、裝置及設備

有效

• 申請號: 202110344443.2
• 申請日: 2021-03-30
• 公開（公告）號: CN113099282B
• 公開（公告）日: 2022-06-24
• 發明（設計）人: 時永方;何玫峻;周煜
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: H04N21/43
• 分類號: H04N21/43;H04N21/488
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 熊永強;杜維

1.一種數據處理方法，其特征在于，所述方法包括：

拉取待推流的第一媒體流，并從所述第一媒體流中提取出音頻流；

對所述音頻流進行識別處理，得到所述音頻流對應的字幕文本；

在所述字幕文本與所述第一媒體流之間進行同步；所述同步包括將所述字幕文本添加至所述第一媒體流的自定義字段中；所述自定義字段是通過在所述第一媒體流的視頻流中與所述字幕文本相匹配的視頻幀的關聯位置處構造字幕碼流單元并配置得到的；

對同步后的所述字幕文本與所述第一媒體流進行封裝，形成第二媒體流；所述第二媒體流中所述第一媒體流與所述字幕文本相互解耦且相互同步；

將所述第二媒體流推流至解碼設備；使得所述解碼設備在檢測到字幕顯示指令時進行字幕顯示能力檢測，若檢測到字幕顯示能力，則分別解析所述第一媒體流和所述字幕文本，播放解析后的所述第一媒體流，并在所述第一媒體流的播放過程中同步顯示解析后的所述字幕文本，若檢測到不具備字幕顯示能力，則忽略所述字幕文本，并解析所述第一媒體流，以及播放解析后的所述第一媒體流；或者在檢測到禁止字幕顯示指令時，忽略所述字幕文本，并解析所述第一媒體流，以及播放解析后的所述第一媒體流；

其中，所述忽略所述字幕文本，并解析所述第一媒體流，以及播放解析后的所述第一媒體流是指：跳過所述第二媒體流中的字幕碼流單元不解析，而解析并播放所述第二媒體流中除字幕碼流單元外的數據。

2.如權利要求1所述的方法，其特征在于，所述對所述音頻流進行識別處理，得到所述音頻流對應的字幕文本，包括：

從所述音頻流中依次截取N個音頻片段；

對所述N個音頻片段依次進行識別處理，得到M組字幕信息及每組字幕信息的時間偏移量，所述M組字幕信息及每組字幕信息的時間偏移量構成所述字幕文本；

其中，所述N個音頻片段中的任一個音頻片段表示為第i個音頻片段，所述第i個音頻片段對應K組字幕信息；所述M組字幕信息中任一組字幕信息表示為第j組字幕信息，所述第j組字幕信息的時間偏移量是指所述第j組字幕信息的起始時間戳相對于所述音頻流的起始時間戳的偏移量；i、j、N、M、K均為正整數，且i≤N，K≤M，j≤M。

3.如權利要求2所述的方法，其特征在于，所述第一媒體流包括所述音頻流和視頻流；所述在所述字幕文本與所述第一媒體流之間進行同步，包括：

根據所述M組字幕信息的時間偏移量，在所述視頻流中確定分別與所述M組字幕信息相匹配的M個視頻幀；

分別在所述相匹配的M個視頻幀的關聯位置處構造自定義字段；以及，

將所述M組字幕信息及每組字幕信息的時間偏移量添加至相應的自定義字段中。

4.如權利要求3所述的方法，其特征在于，所述視頻流包括多個視頻幀，所述多個視頻幀按序依次被封裝于多個視頻碼流單元，與所述第j組字幕信息相匹配的視頻幀被封裝于目標視頻碼流單元中；

在與所述第j組字幕信息相匹配的視頻幀的關聯位置處構造自定義字段，包括：在所述目標視頻碼流單元的關聯位置處構造目標字幕碼流單元；將所述目標字幕碼流單元配置為自定義字段；

將所述第j組字幕信息及所述第j組字幕信息的時間偏移量添加至相應的自定義字段中，包括：將所述第j組字幕信息以及所述第j組字幕信息的時間偏移量封裝于所述目標字幕碼流單元中；

其中，所述目標視頻碼流單元的關聯位置包括：參考視頻碼流單元與所述目標視頻碼流單元之間的位置；所述參考視頻碼流單元是指用于封裝所述第j組字幕信息相匹配的視頻幀的前一視頻幀的視頻碼流單元。

5.如權利要求3或4所述的方法，其特征在于，所述自定義字段為字幕碼流單元，所述M組字幕信息中每組字幕信息及每組字幕信息的時間偏移量被分別封裝至M個字幕碼流單元中；

所述對同步后的所述字幕文本與所述第一媒體流進行封裝，形成第二媒體流，包括：對所述M個字幕碼流單元與所述第一媒體流進行封裝，形成所述第二媒體流。