[發明專利]基于圖像檢測的動作識別數據集生成方法及裝置

在審

• 申請號: 202110187621.5
• 申請日: 2021-02-18
• 公開（公告）號: CN112784813A
• 公開（公告）日: 2021-05-11
• 發明（設計）人: 周力;安雪暉;劉祖光;李鵬飛;李志偉
• 申請（專利權）人: 清華大學;重慶交通大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N20/00
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 單曉雙;葉明川

本發明提供了一種基于圖像檢測的動作識別數據集生成方法及裝置，基于圖像檢測的動作識別數據集生成方法包括：確定預先采集的動作視頻中每一幀中所有待檢測目標的檢測矩形；在所述每一幀中的每一待檢測目標的檢測矩形中進行標記；按照第一預設范圍對所述每一幀進行裁剪；組裝裁剪后的多幀，以生成動作視頻數據或圖像序列。本發明提供的基于圖像檢測的動作識別數據集生成方法及裝置，較好的解決了現有技術中，針對建立識別目標動作專用的視頻數據集耗時耗力的問題。

技術領域

本發明涉及計算機視覺處理技術領域，特別是涉及動作檢測類機器學習模型的訓練數據集生成技術，具體涉及一種基于圖像檢測的動作識別數據集生成方法及裝置。

背景技術

計算機視覺(computer vision，CV)技術發展了數十載，在2012年出現了一個重要的分水嶺，那就是深度學習技術的應用及帶來的突破。機器已經可以識別圖像了，會分辨貓、狗、汽車、紅綠燈等等靜態圖片，而感知動態行為可能是機器如何理解這個世界的一個巨大進步。這就是計算機視覺領域的視頻理解任務。而視頻理解，更核心的可以歸為動作的理解。

對人、動物以及人生產出來的機械設備的動作的理解，也就是動作識別ActionRecognition，是指對視頻中人的行為動作進行識別，即讀懂視頻。

可以理解的是，在深度學習領域，數據集的重要性與算法可以相提并論。一個大規模的、魯棒性好的、泛化能力強的、標注質量高的數據集，對于整個領域的發展，包括算法的提升改進、新算法的提出等都有極大的促進作用。圖像和視頻的數據集的建立，在CV領域更是重要。

本領域技術人員在具有上述優點的圖像/視頻數據集的建立過程中，投入了大量的資源。數據集建立的投入，主要是在兩方面，一是數據采集，再者是數據標注。

針對施工現場工人和機械設備的動作的識別，有利于提升現場管理水平、有利于對工人健康安全的保障。但是由于施工現場的一些特殊性，通用的數據集在施工現場很難取得較好的表現。原因有：施工現場遮擋多；施工現場背景混亂、復雜；施工現場背景獨特；大多數工地工人都有分為特定工種、而特定工作則有特定的動作。正是這些因素導致了將通用的視頻理解數據集應用到工作動作識別時效果并不理想。

綜上所述，目前在施工領域，缺乏一個大規模的、公開的、具有較好魯棒性和泛化能力的動作識別數據集建立方法。

發明內容

針對現有技術中的問題，本發明提供的基于圖像檢測的動作識別數據集生成方法及裝置，較好的解決了現有技術中，針對建立識別目標動作專用的視頻數據集耗時耗力的問題。

為解決上述技術問題，本發明提供以下技術方案：

第一方面，本發明提供一種基于圖像檢測的動作識別數據集生成方法，包括：

確定預先采集的動作視頻中每一幀中所有待檢測目標的檢測矩形；

在所述每一幀中的每一待檢測目標的檢測矩形中進行標記；

按照第一預設范圍對所述每一幀進行裁剪；

組裝裁剪后的多幀，以生成動作視頻數據或圖像序列。

一實施例中，所述確定預先采集的動作視頻中每一幀中所有待檢測目標的檢測矩形，包括：

利用CV算法，確定所述每一幀的檢測矩形的初步形心位置；

根據所述初步形心位置確定當前幀的檢測矩形的最終形心位置；

根據第二預設范圍以及所述最終形心位置確定所述當前幀的檢測矩形。

一實施例中，所述根據所述初步形心位置確定當前幀的檢測矩形的最終形心位置，包括：