[發明專利]一種視頻播放過程中的圖像內容識別方法及裝置

有效

• 申請號: 202210274492.8
• 申請日: 2022-03-21
• 公開（公告）號: CN114399718B
• 公開（公告）日: 2022-08-16
• 發明（設計）人: 楊文厚;蘭宇;張智恒;鄒學航;王軒;張康成;陳偉;穆苗苗
• 申請（專利權）人: 北京網之晴科技有限公司;楊文厚
• 主分類號: G06V20/40
• 分類號: G06V20/40;H04N19/40
• 代理公司: 北京開陽星知識產權代理有限公司 11710
• 代理人: 王艷斌

本公開涉及一種視頻播放過程中的圖像內容識別方法及裝置，其中，方法包括：獲取待處理視頻，并提取目標幀圖像，基于圖像特征提取模型對目標幀圖像進行提取，得到圖像特征向量和目標對象向量，然后對目標對象向量進行識別，得到目標對象類別，基于目標對象向量和目標對象類別進行處理，得到目標對象整體特征向量并對其進行圖片轉換，得到目標對象圖像，將每個目標對象對應的目標對象類別、目標對象整體特征向量和目標視頻編碼位置輸入圖像擬態圖像運動識別模型，得到每多張運動圖像和運動圖像特征，最后對其進行編碼字符轉換，得到待處理視頻播放過程中的目標視頻字符編碼，從而提高視頻播放過程中圖像識別的效率及精度。

技術領域

本公開涉及人工智能技術領域，尤其涉及一種視頻播放過程中的圖像內容識別方法及裝置。

背景技術

通常，在對視頻處理的過程中，涉及從視頻中識別圖像內容。

相關技術中，采用基于幀的技術，通過每秒捕獲多幀靜止圖像來表達/記錄，幀與幀之間存在空白，導致物體的部分信息丟失及相同背景信息被重復記錄，從而生成大量無用數據，以及在已有的傳統視頻識別圖像內容方式中，常常由于計算資源的限制，將視頻轉換為圖像，再進行圖像的識別，由于視頻圖像的規格、編碼、清晰度的不同，集中在不同環境中圖像質量的變化，從而很難通過圖像識別出圖像內容的情況。

發明內容

為了解決上述技術問題，本公開提供了一種視頻播放過程中的圖像內容識別方法及裝置。

第一方面，本公開實施例提供了一種視頻播放過程中的圖像內容識別方法，包括：

獲取待處理視頻，并提取待處理視頻的目標幀圖像；

基于預先訓練的圖像特征提取模型對目標幀圖像進行提取，得到圖像特征向量，并提取圖像特征向量中的目標對象向量；

基于預先訓練的圖像實體分類識別模型對目標對象向量進行識別，得到目標對象類別；

基于目標對象向量和目標對象類別進行處理，得到每個目標對象對應的目標對象整體特征向量；

對目標對象整體特征向量進行圖片轉換，得到每個目標對象對應的目標對象圖像，并基于目標幀圖像的視頻編碼位置確定目標對象圖像的目標視頻編碼位置；

將每個目標對象對應的目標對象類別、目標對象整體特征向量和目標視頻編碼位置輸入預先訓練的圖像擬態圖像運動識別模型，得到每個目標對象對應的多張運動圖像和運動圖像特征；

對多張運動圖像和運動圖像特征進行編碼字符轉換，得到待處理視頻播放過程中的目標視頻字符編碼。

第二方面，本公開實施例提供了一種視頻播放過程中的圖像內容識別裝置，包括：

第一獲取模塊，用于獲取待處理視頻，并提取待處理視頻的目標幀圖像；

第一提取模塊，用于基于預先訓練的圖像特征提取模型對目標幀圖像進行提取，得到圖像特征向量，并提取圖像特征向量中的目標對象向量；

第一識別模塊，用于基于預先訓練的圖像實體分類識別模型對目標對象向量進行識別，得到目標對象類別；

處理模塊，用于基于目標對象向量和目標對象類別進行處理，得到每個目標對象對應的目標對象整體特征向量；

轉換確定模塊，用于對目標對象整體特征向量進行圖片轉換，得到每個目標對象對應的目標對象圖像，并基于目標幀圖像的視頻編碼位置確定目標對象圖像的目標視頻編碼位置；

輸入模塊，用于將每個目標對象對應的目標對象類別、目標對象整體特征向量和目標視頻編碼位置輸入預先訓練的圖像擬態圖像運動識別模型，得到每個目標對象對應的多張運動圖像和運動圖像特征；