[發明專利]用于解說視頻的方法及裝置

有效

• 申請號: 202010414326.4
• 申請日: 2020-05-15
• 公開（公告）號: CN111538862B
• 公開（公告）日: 2023-06-20
• 發明（設計）人: 馮博豪;張小帥;陳興波
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F16/783
• 分類號: G06F16/783
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

本公開的實施例公開了用于解說視頻的方法及裝置，涉及云計算領域。該方法的一具體實施方式包括：獲取待處理視頻幀的內容信息；根據上述內容信息構建文字描述信息，上述文字描述信息用于描述上述待處理視頻幀的內容；將上述文字描述信息導入預先訓練的文字轉換模型，得到對應上述文字描述信息的解說文字信息，上述文字轉換模型用于將上述文字描述信息轉換為解說文字信息；將上述解說文字信息轉換為音頻信息。該實施方式實現了對視頻的語音解說，提高了視頻的解說效率。

技術領域

本公開的實施例涉及計算機技術領域，具體涉及用于解說視頻的方法及裝置。

背景技術

隨著智能設備的大量使用和網絡技術的進步，各種類型的視頻(例如可以是足球視頻、籃球視頻、網球視頻等)在網絡上廣泛傳播。相應地，視頻解說員需要對視頻內容進行解說，以便觀眾能夠了解視頻內容。

發明內容

本公開的實施例提出了用于解說視頻的方法及裝置。

第一方面，本公開的實施例提供了一種用于解說視頻的方法，該方法包括：獲取待處理視頻幀的內容信息；根據上述內容信息構建文字描述信息，上述文字描述信息用于描述上述待處理視頻幀的內容；將上述文字描述信息導入預先訓練的文字轉換模型，得到對應上述文字描述信息的解說文字信息，上述文字轉換模型用于將上述文字描述信息轉換為解說文字信息；將上述解說文字信息轉換為音頻信息。

在一些實施例中，上述獲取待處理視頻幀的內容信息，包括：響應于上述待處理視頻幀為一個視頻幀，對上述待處理視頻幀進行圖像識別，得到內容信息，上述內容信息包括以下至少一項：視頻類型信息、人物信息。

在一些實施例中，上述獲取待處理視頻幀的內容信息，包括：響應于上述待處理視頻幀為多個視頻幀，對上述待處理視頻幀進行圖像識別，確定目標圖像；獲取上述目標圖像中的每個目標圖像在上述待處理視頻幀中的運動信息。

在一些實施例中，上述獲取上述目標圖像中的每個目標圖像在上述待處理視頻幀中的運動信息，包括：為上述目標圖像設置標記點，并獲取上述標記點在上述待處理視頻幀的每個待處理視頻幀中的位置信息；建立上述待處理視頻幀的時間信息與上述位置信息之間的對應關系；按照上述時間信息對應的時間的先后順序和上述對應關系確定內容信息，上述內容信息包括動作信息。

在一些實施例中，上述根據上述內容信息構建文字描述信息，包括：查詢上述內容信息的詞性信息，上述詞性信息包括以下至少一項：名詞、動詞；確定上述詞性信息對應的句子成分，上述句子成分包括以下至少一項：主語、謂語、賓語；根據上述句子成分選擇句型，上述句型包括詞槽；將上述內容信息添加至上述句型的詞槽得到文字描述信息。

在一些實施例中，上述將上述文字描述信息導入預先訓練的文字轉換模型，得到對應上述文字描述信息的解說文字信息，包括：查詢對應上述文字描述信息的場景類型信息，上述場景類型信息用于表征上述待處理視頻幀對應的場景；根據上述場景類型信息確定場景句型，上述場景句型用于對上述場景進行描述，包括對應上述場景的慣用描述詞；將上述文字描述信息添加至上述場景句型得到解說文字信息。

在一些實施例中，上述方法還包括：建立上述待處理視頻幀和上述音頻信息的時間匹配關系。

第二方面，本公開的實施例提供了一種用于解說視頻的裝置，該裝置包括：內容信息獲取單元，被配置成獲取待處理視頻幀的內容信息；文字描述信息構建單元，被配置成根據上述內容信息構建文字描述信息，上述文字描述信息用于描述上述待處理視頻幀的內容；解說文字信息獲取單元，被配置成將上述文字描述信息導入預先訓練的文字轉換模型，得到對應上述文字描述信息的解說文字信息，上述文字轉換模型用于將上述文字描述信息轉換為解說文字信息；音頻轉換單元，被配置成將上述解說文字信息轉換為音頻信息。