[發明專利]字幕處理方法、裝置及電子設備

有效

• 申請號: 202011159807.1
• 申請日: 2020-10-26
• 公開（公告）號: CN112261321B
• 公開（公告）日: 2023-02-28
• 發明（設計）人: 海同舟
• 申請（專利權）人: 維沃移動通信有限公司
• 主分類號: H04N5/278
• 分類號: H04N5/278;H04N5/262;G10L17/02
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 喬珊珊

1.一種字幕處理方法，其特征在于，所述方法包括：

按照預設方式生成視頻語音中的各噪音片段對應的第一字幕；

顯示每段所述第一字幕和預設控件；

在接收到對目標預設控件的第一輸入的情況下，響應于所述第一輸入對所述目標預設控件對應的所述第一字幕進行處理；

其中，預設方式包括以下至少之一：依據預設參數確定語音片段是否為噪音片段，并將噪音片段轉換為第一字幕；依據預先訓練的多模態模型，生成視頻語音中的各段噪音片段對應的第一字幕，預設參數包括以下至少之一：語音片段的聲音歸屬者信息、語音片段匹配的視頻圖像幀中人物信息以及語音片段與上下文的語義連貫度；

對所述第一字幕的處理包括以下至少之一：刪除、恢復以及編輯。

2.根據權利要求1所述的方法，其特征在于，所述按照預設方式生成視頻語音中的各噪音片段對應的第一字幕的步驟，包括：

將視頻語音劃分為多個語音片段；

分別確定各所述語音片段所屬的類別；

將第一類別中包含的各語音片段確定為待篩選語音片段，其中，所述第一類別中包含的語音片段數量小于預設數量；

針對各所述待篩選語音片段，依據預設參數確定所述待篩選語音片段是否為噪音片段；

分別將各所述噪音片段轉換為第一字幕。

3.根據權利要求2所述的方法，其特征在于，針對各所述待篩選語音片段，依據預設參數確定所述待篩選語音片段是否為噪聲片段的步驟，包括：

針對各所述待篩選語音片段，確定所述待篩選語音片段的聲音歸屬者的第一人物信息；

確定所述待篩選語音片段對應的視頻圖像幀中人物的第二人物信息；

所述第一人物信息與所述第二人物信息不匹配的情況下，確定所述待篩選語音片段為噪音片段，其中，第一人物信息和第二人物信息包括：人物性別和人物類型；

在所述第一人物信息與所述第二人物信息匹配的情況下，確定所述待篩選語音片段與上下文的語義是否連貫；

在所述待篩選語音片段與上下文的語義不連貫的情況下，確定所述待篩選語音片段為噪音片段。

4.根據權利要求2所述的方法，其特征在于，所述分別確定各所述語音片段所屬的類別的步驟，包括：

分別提取各所述語音片段的語音特征向量；

將語音特征向量相似度大于預設相似度的各所述語音片段，劃分至同一類別。

5.根據權利要求1所述的方法，其特征在于，所述按照預設方式生成視頻語音中的各噪音片段對應的第一字幕的步驟，包括：

將所述視頻語音轉換成字幕文本；

將所述字幕文本和視頻圖像輸入預先訓練的多模態模型中，篩選得到各段噪音片段對應的第一字幕。

6.一種字幕處理裝置，其特征在于，所述裝置包括：

生成模塊，用于按照預設方式生成視頻語音中的各噪音片段對應的第一字幕；

顯示模塊，用于顯示每段所述第一字幕和預設控件；

處理模塊，用于在接收到對目標預設控件的第一輸入的情況下，響應于所述第一輸入對所述目標預設控件對應的所述第一字幕進行處理；

其中，預設方式包括以下至少之一：依據預設參數確定語音片段是否為噪音片段，并將噪音片段轉換為第一字幕；依據預先訓練的多模態模型，生成視頻語音中的各噪音片段對應的第一字幕，預設參數包括以下至少之一：語音片段的聲音歸屬者信息、語音片段匹配的視頻圖像幀中人物信息以及語音片段與上下文的語義連貫度；

對所述第一字幕的處理包括以下至少之一：刪除、恢復以及編輯。

7.根據權利要求6所述的裝置，其特征在于，所述生成模塊包括：

第一子模塊，用于將視頻語音劃分為多個語音片段；

第二子模塊，用于分別確定各所述語音片段所屬的類別；

第三子模塊，用于將第一類別中包含的各語音片段確定為待篩選語音片段，其中，所述第一類別中包含的語音片段數量小于預設數量；

第四子模塊，用于針對各所述待篩選語音片段，依據預設參數確定所述待篩選語音片段是否為噪音片段；

第五子模塊，用于分別將各所述噪音片段轉換為第一字幕。