[發明專利]一種采用視頻壓縮技術和骨架特征的輕量級行為識別方法

有效

• 申請號: 202010854984.5
• 申請日: 2020-08-21
• 公開（公告）號: CN112001308B
• 公開（公告）日: 2022-03-15
• 發明（設計）人: 魏驍勇;張栩祿;左劼;楊震群;劉璐;張永旭
• 申請（專利權）人: 四川大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06K9/62;G06N3/04;G06N3/08;H04N19/42;G06V20/40;G06V10/774
• 代理公司: 成都正煜知識產權代理事務所(普通合伙) 51312
• 代理人: 李龍

1.一種采用視頻壓縮技術和骨架特征的輕量級行為識別方法，其特征在于，包括以下步驟：

步驟1：制作視頻數據集，每段視頻包含一個主要動作，并將該動作名稱作為視頻的標簽，主要用于神經網絡模型的訓練；

步驟2：對步驟1制作完成的視頻進行壓縮，提取視頻的內編碼幀，去除預測幀和雙向幀，得到畫面清晰冗余較少，代表意義顯著的視頻幀；

步驟3：對步驟2得到的視頻幀進行固定時長的篩選得到視頻圖像，每隔t秒的時間選定一幀作為該時間段內的代表性動作，在保證短時動作必定會被捕捉到的基礎上，長時動作包含的圖片數量適中，不會造成計算負擔和處理時間緩慢；

步驟4：采用開源的卷積神經網絡對步驟3獲得的視頻圖像提取骨架信息，獲得每張圖像上人體骨架關鍵點的位置；

步驟5：對步驟3獲得的圖片進行灰度化，將原有的RGB圖像轉換為灰度圖；

步驟6：結合步驟4和步驟5，對每張灰度圖上的骨架關鍵點及其周圍像素進行增益，根據像素距離關鍵點的最小距離進行權重分配，使靠近關鍵點的區域獲得更高的權重，遠離關鍵點為區域將會受到懲罰，最終獲得關鍵區域增益的灰度圖像，該增益圖像不僅包含了整體圖像的全局信息，也突出了人體的關鍵部位；

步驟7：每張增益的灰度圖像表示為h×w×1個像素做成的集合，對步驟6獲得的n張灰度圖像依照時間順序在通道維度上進行整合，得到具有長、寬、時間三維信息的矩陣，該矩陣共包含h×w×n個元素，之后將該矩陣輸入二維卷積神經網絡進行訓練：

步驟8：在步驟7訓練完成神經網絡后，對任意一段視頻圖像通過步驟2-7獲得h×w×n的矩陣，并輸入神經網絡模型，得到動作類別。

2.根據權利要求1所述的一種采用視頻壓縮技術和骨架特征的輕量級行為識別方法，其特征在于，采用正態分布作為權重的分配方式，具體公式為：

其中，像素點(x,y)的權重表示為w(x,y)，Δx、Δy分別表示像素點與最近的骨架關鍵位置的橫向和縱向距離。