[發明專利]一種基于壓縮域表征運動向量的行為識別方法

有效

• 申請號: 202110232921.0
• 申請日: 2021-03-03
• 公開（公告）號: CN113014923B
• 公開（公告）日: 2022-12-06
• 發明（設計）人: 張冠文;周鋮輝;周巍
• 申請（專利權）人: 西北工業大學
• 主分類號: H04N19/139
• 分類號: H04N19/139;H04N19/149;H04N19/52;G06V40/20;G06V20/40;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 西北工業大學專利中心 61204
• 代理人: 金鳳

1.一種基于壓縮域表征運動向量的行為識別方法，其特征在于包括下述步驟：

步驟1、通過視頻解碼提取壓縮視頻的RGB原始圖像幀信息和運動向量信息其中T為總幀數，f_{m_i}表示第i幀圖像的運動向量信息，f_{r_i}表示第i幀圖像的RGB信息；

步驟2、通過視頻運動向量分布特征切分出源視頻內運動信息密度最大的3段序列作為視頻關鍵信息序列其中k表示第k段視頻關鍵信息序列；

步驟3、利用相鄰運動向量間的相互依賴性，通過線性累加的方式獲得當前圖像組的第一幀參考幀到當前采樣幀的所有運動信息其中是當前采樣幀像素點t所代表的位置信息，是像素點t在當前圖像組第一幀參考幀處的相對位置，表示解耦合后的當前采樣幀的運動向量信息；向量表示從終點到起點的位移信息；

步驟4、利用角度投票算法，估算出視頻內由于相機移動帶來的背景移動運動信息，并通過目標區域的運動補償減少由于相機移動帶來的影響，具體形式如下max hist(∪_x，yA(M_x，y))，其中A(M_x，y)表示位于(x,y)位置上的運動向量的方向角，hist(·)表示運動向量方向角的直方圖，即選擇含有最大直方圖的角度作為相機運動的估計方向，并對中心目標進行運動補償；

步驟5、在步驟二所得的視頻關鍵信息序列中隨機采樣得到的空域圖像幀經過空域行為識別基礎網絡模型ResNet獲得相應的特征向量并通過求V_S平均值得到空域模型最終的特征向量

步驟6、利用在關鍵信息序列中采樣得到的時域圖像幀經過時域行為識別基礎網絡模型ResNet獲得相應的特征向量并通過求V_T平均值得到時域模型最終的特征向量

步驟7、對空域模型的輸出和時域模型的輸出進行加權求和得到最終的雙模態特征向量

2.根據權利要求1所述的基于壓縮域表征運動向量的行為識別方法，其特征在于：

所述步驟2具體步驟為：

步驟2.1、利用整段視頻每一幀圖像的運動向量信息計算第i幀圖像的相對運動向量通過計算相對運動向量減少相機運動對整體運動信息的影響；

步驟2.2、計算前后幀圖像的相對運動向量殘差

步驟2.3、將MV_residual小于所設置的閾值的區域作為關鍵信息區域的劃分邊界，而前后邊界之間的區域為運動信息關鍵區域，其中閾值為整段視頻中運動向量的平均值；

步驟2.4、根據弱連續運動向量殘差評價標準定位視頻內關鍵信息序列的邊界；弱連續運動向量殘差評價標準為當MV_residual小于預先設定的閾值的連續圖像幀數超過長度閾值L時，代表當前區域的運動狀態變化不明顯，即有效運動信息密度較低，將其作為關鍵信息序列的邊界，其中閾值設定為整段視頻的平均運動向量強度。

3.根據權利要求1所述的基于壓縮域表征運動向量的行為識別方法，其特征在于：

所述步驟2中，閾值L為整段視頻的平均運動向量強度，L取值為10。