[發明專利]用于解說視頻的方法及裝置

有效

• 申請號: 202010414326.4
• 申請日: 2020-05-15
• 公開（公告）號: CN111538862B
• 公開（公告）日: 2023-06-20
• 發明（設計）人: 馮博豪;張小帥;陳興波
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F16/783
• 分類號: G06F16/783
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

1.一種用于解說視頻的方法，包括：

獲取待處理視頻幀的內容信息；

根據所述內容信息構建文字描述信息，所述文字描述信息用于描述所述待處理視頻幀的內容；

將所述文字描述信息導入預先訓練的文字轉換模型，得到對應所述文字描述信息的解說文字信息，所述文字轉換模型用于將所述文字描述信息轉換為解說文字信息；

將所述解說文字信息轉換為音頻信息；

其中，所述根據所述內容信息構建文字描述信息，包括：

查詢所述內容信息的詞性信息，所述詞性信息包括以下至少一項：名詞、動詞；

確定所述詞性信息對應的句子成分，所述句子成分包括以下至少一項：主語、謂語、賓語；

根據所述句子成分選擇句型，所述句型包括詞槽；

將所述內容信息添加至所述句型的詞槽得到文字描述信息。

2.根據權利要求1所述的方法，其中，所述獲取待處理視頻幀的內容信息，包括：

響應于所述待處理視頻幀為一個視頻幀，對所述待處理視頻幀進行圖像識別，得到內容信息，所述內容信息包括以下至少一項：視頻類型信息、人物信息。

3.根據權利要求1所述的方法，其中，所述獲取待處理視頻幀的內容信息，包括：

響應于所述待處理視頻幀為多個視頻幀，對所述待處理視頻幀進行圖像識別，確定目標圖像；

獲取所述目標圖像中的每個目標圖像在所述待處理視頻幀中的運動信息。

4.根據權利要求3所述的方法，其中，所述獲取所述目標圖像中的每個目標圖像在所述待處理視頻幀中的運動信息，包括：

為所述目標圖像設置標記點，并獲取所述標記點在所述待處理視頻幀的每個待處理視頻幀中的位置信息；

建立所述待處理視頻幀的時間信息與所述位置信息之間的對應關系；

按照所述時間信息對應的時間的先后順序和所述對應關系確定內容信息，所述內容信息包括動作信息。

5.根據權利要求1所述的方法，其中，所述將所述文字描述信息導入預先訓練的文字轉換模型，得到對應所述文字描述信息的解說文字信息，包括：

查詢對應所述文字描述信息的場景類型信息，所述場景類型信息用于表征所述待處理視頻幀對應的場景；

根據所述場景類型信息確定場景句型，所述場景句型用于對所述場景進行描述，包括對應所述場景的慣用描述詞；

將所述文字描述信息添加至所述場景句型得到解說文字信息。

6.根據權利要求1所述的方法，其中，所述方法還包括：

建立所述待處理視頻幀和所述音頻信息的時間匹配關系。

7.一種用于解說視頻的裝置，包括：

內容信息獲取單元，被配置成獲取待處理視頻幀的內容信息；

文字描述信息構建單元，被配置成根據所述內容信息構建文字描述信息，所述文字描述信息用于描述所述待處理視頻幀的內容；

解說文字信息獲取單元，被配置成將所述文字描述信息導入預先訓練的文字轉換模型，得到對應所述文字描述信息的解說文字信息，所述文字轉換模型用于將所述文字描述信息轉換為解說文字信息；

音頻轉換單元，被配置成將所述解說文字信息轉換為音頻信息；

其中，所述文字描述信息構建單元包括：

詞性查詢子單元，被配置成查詢所述內容信息的詞性信息，所述詞性信息包括以下至少一項：名詞、動詞；

句子成分確定子單元，被配置成確定所述詞性信息對應的句子成分，所述句子成分包括以下至少一項：主語、謂語、賓語；

句型選擇子單元，被配置成根據所述句子成分選擇句型，所述句型包括詞槽；

文字描述信息獲取子單元，被配置成將所述內容信息添加至所述句型的詞槽得到文字描述信息。

8.根據權利要求7所述的裝置，其中，所述內容信息獲取單元包括：

第一內容信息獲取子單元，響應于所述待處理視頻幀為一個視頻幀，被配置成對所述待處理視頻幀進行圖像識別，得到內容信息，所述內容信息包括以下至少一項：視頻類型信息、人物信息。