[發(fā)明專利]一種視頻播放過程中的圖像內容識別方法及裝置

有效

• 申請?zhí)枺?/td>: 202210274492.8
• 申請日: 2022-03-21
• 公開（公告）號: CN114399718B
• 公開（公告）日: 2022-08-16
• 發(fā)明（設計）人: 楊文厚;蘭宇;張智恒;鄒學航;王軒;張康成;陳偉;穆苗苗
• 申請（專利權）人: 北京網之晴科技有限公司;楊文厚
• 主分類號: G06V20/40
• 分類號: G06V20/40;H04N19/40
• 代理公司: 北京開陽星知識產權代理有限公司 11710
• 代理人: 王艷斌

1.一種視頻播放過程中的圖像內容識別方法，其特征在于，包括：

獲取待處理視頻，并提取所述待處理視頻的目標幀圖像；

基于預先訓練的圖像特征提取模型對所述目標幀圖像進行提取，得到圖像特征向量，并提取所述圖像特征向量中的目標對象向量；

基于預先訓練的圖像實體分類識別模型對所述目標對象向量進行識別，得到目標對象類別；

將所述目標對象向量和所述目標對象類別輸入圖像三維構建識別模型，得到識別結果，基于所述識別結果確定每個目標對象不同部位的圖像之間的尺寸比例、圖像差分比例和圖像三維，構建三維完整結構，得到每個目標對象對應的目標對象整體特征向量；

對所述目標對象整體特征向量進行圖片轉換，得到每個目標對象對應的目標對象圖像，并基于所述目標幀圖像的視頻編碼位置確定所述目標對象圖像的目標視頻編碼位置；

將每個目標對象對應的所述目標對象類別、所述目標對象整體特征向量和所述目標視頻編碼位置輸入預先訓練的圖像擬態(tài)圖像運動識別模型，得到每個目標對象對應的多張運動圖像和運動圖像特征；

對所述多張運動圖像和所述運動圖像特征進行編碼字符轉換，得到所述待處理視頻播放過程中的目標視頻字符編碼。

2.根據(jù)權利要求1所述的視頻播放過程中的圖像內容識別方法，其特征在于，還包括：

獲取原始視頻字符編碼；

將所述原始視頻字符編碼和所述目標視頻字符編碼輸入視頻字符編碼多重序列比對系統(tǒng)進行對比，得到待處理視頻字符編碼；

提取待處理視頻字符編碼中的圖像作為所述目標幀圖像。

3.根據(jù)權利要求1所述的視頻播放過程中的圖像內容識別方法，其特征在于，還包括：

獲取所述圖像擬態(tài)圖像運動識別模型未能檢測識別得到多張運動圖像和運動圖像特征的目標對象整體特征向量作為訓練特征向量；

根據(jù)所述訓練特征向量進行目標對象圖像擬態(tài)運動圖像訓練識別，得到訓練結果；

根據(jù)所述訓練結果對所述圖像擬人高速推理識別模型的圖像特征向量庫進行更新處理。

4.根據(jù)權利要求1所述的視頻播放過程中的圖像內容識別方法，其特征在于，還包括：

接收訓練圖像以及對所述訓練圖像的標注信息，其中，所述標注信息包括所述訓練圖像中的實體類型、實體名稱以及所述實體類型對應的場景類型；

將所述訓練圖像以及所述標注信息作為訓練數(shù)據(jù)重新訓練所述圖像擬態(tài)圖像運動識別訓練模型，得到重新訓練完成的圖像擬態(tài)運動識別模型并同時形成所述圖像擬態(tài)運動識別模型使用的圖像特征向量庫。

5.根據(jù)權利要求1所述的視頻播放過程中的圖像內容識別方法，其特征在于，所述基于預先訓練的圖像實體分類識別模型對所述目標對象向量進行識別，得到目標對象類別，包括：

獲取所述目標幀圖像對應的場景類型；

將所述場景類型和所述目標對象向量輸入所述圖像實體分類識別模型，得到每個目標對象在所述場景類型下的目標對象類別。

6.根據(jù)權利要求1所述的視頻播放過程中的圖像內容識別方法，其特征在于，所述圖像特征向量包括：顏色、像素位置、靜態(tài)、動態(tài)、變化、運動、轉換幅度、字符起始位置、圖像特征向量所表達的數(shù)學表示及轉換目標范圍中的一種或者多種。

7.根據(jù)權利要求1-6任一項所述的視頻播放過程中的圖像內容識別方法，其特征在于，多個處理模型和視頻字符編碼多重序列比對系統(tǒng)部署于設備中，其中，所述多個處理模型包括：圖像特征提取模型、圖像實體分類識別模型、圖像擬態(tài)圖像運動識別模型、圖像擬人高速推理識別模型、圖像三維構建識別模型，所述方法還包括：

獲取所述設備的工況參數(shù)、每個處理模型的參數(shù)和視頻字符編碼多重序列比對系統(tǒng)的參數(shù)；

根據(jù)所述設備的工況參數(shù)、所述每個處理模型的參數(shù)和所述視頻字符編碼多重序列比對系統(tǒng)的參數(shù)確定所述設備的目標配置參數(shù)；

根據(jù)所述目標配置參數(shù)調整所述設備的控制參數(shù)。