[發明專利]體育運動視頻去除拖影的方法及裝置、存儲介質、設備

有效

• 申請號: 202310018950.6
• 申請日: 2023-01-06
• 公開（公告）號: CN116128756B
• 公開（公告）日: 2023-08-18
• 發明（設計）人: 楊瀾;邸建
• 申請（專利權）人: 北京華數安信科技有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06T3/40;G06V10/80;G06V10/82;G06N3/0475
• 代理公司: 北京慧智興達知識產權代理有限公司 11615
• 代理人: 李麗穎

本發明提供了一種體育運動視頻去除拖影的方法及裝置、存儲介質、設備，該方法包括：對待去除拖影視頻中的圖像幀進行切片；利用預設的對抗神經網絡模型對切片子圖像對應的數據變換的數據進行不同采樣倍數的多次下采樣，生成多個不同尺度的特征；將多個不同尺度的特征分別上采樣到切片子圖像的1/n大小的特征圖像，并將上采樣后得到的多個不同尺度的特征圖像拼接為包含多個尺度的整體特征信息的目標圖像;對目標圖像進行多次上采樣，生成與多張切片子圖像大小一致的去除拖影的多張切片子圖像；根據去除拖影的多張切片子圖像拼接合成去除拖影后的圖像幀。本發明通過去除拖影，修復圖像質量，來提升對抗神經網絡模型的預測精度。

技術領域

本發明涉及視頻處理技術領域，尤其涉及一種體育運動視頻去除拖影的方法及裝置、存儲介質、設備。

背景技術

在進行視頻分析識別時，高速運動的物體，在常見的視頻幀率例如30fps，60fps上，呈現拖影現象，這加大了視頻分析的難度，例如對體育運動的人體的關鍵點檢測，使得預測精度大打折扣。現有技術，為了提升對視頻中高速運動物體的識別、追蹤的精度，通過提升硬件設備來滿足任務需求，例如使用高幀率拍攝設備，但這增加了相應成本。

發明內容

鑒于上述問題，提出了本發明以便提供一種克服上述問題或者至少部分地解決上述問題的一種體育運動視頻去除拖影的方法及裝置、存儲介質、設備。

本發明的一個方面，提供了一種體育運動視頻去除拖影的方法，所述方法包括：

對待去除拖影視頻中的圖像幀進行切片，得到多張切片子圖像；

對所述切片子圖像分別按照預設數據出入格式進行數據變換；

利用預設的對抗神經網絡模型對所述切片子圖像對應的數據變換的數據進行不同采樣倍數的多次下采樣，生成多個不同尺度的特征；

將所述多個不同尺度的特征分別上采樣到切片子圖像的1/n大小的特征圖像，并將上采樣后得到的多個不同尺度的特征圖像拼接為包含多個尺度的整體特征信息的目標圖像，所述n為正整數;

對所述目標圖像進行多次上采樣，生成與所述多張切片子圖像大小一致的去除拖影的多張切片子圖像；

根據去除拖影的多張切片子圖像拼接合成去除拖影后的圖像幀。

進一步地，在所述對待去除拖影視頻中的圖像幀進行切片之前，所述方法還包括：

獲取待去除拖影的視頻流；

對所述視頻流進行切幀處理，得到視頻幀列表；

遍歷所述視頻幀列表，依次從對所述視頻幀列表中提取待去除拖影的圖像幀。

進一步地，所述對待去除拖影視頻中的圖像幀進行切片，得到多張切片子圖像，包括：

對所述視頻幀列表中待去除拖影的當前幀以預設大小的滑塊進行滑塊切片，切割成多張長寬相等的切片子圖像。

進一步地，所述對待去除拖影視頻中的圖像幀進行切片，得到多張切片子圖像之后，還包括：

建立所述多張切片子圖像在原圖像幀中的索引；

其中，所述建立所述多張切片子圖像在原圖像幀中的索引，包括：

根據每一切片子圖像的左上角原點坐標生成切片子圖像的索引，所述索引的格式為：X軸索引-Y軸索引。

進一步地，所述對所述切片子圖像分別按照預設數據出入格式進行數據變換，包括：

對所述多張切片子圖像的每個通道的像素值進行歸一化，對歸一化生成的切片數據進行擴維度。

進一步地，所述對抗神經網絡模型，包括：

判別網絡和生成網絡；