[發明專利]識別視頻中物體運動方向的方法及裝置

有效

• 申請號: 201810296899.4
• 申請日: 2018-04-03
• 公開（公告）號: CN108520532B
• 公開（公告）日: 2020-12-22
• 發明（設計）人: 車廣富;安山;黃志標;陳宇
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06T7/269
• 分類號: G06T7/269
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 姜雍;劉劍波

本發明公開了一種識別視頻中物體運動方向的方法、裝置及計算機可讀存儲介質，涉及多媒體技術領域。其中的方法包括：計算視頻的稠密光流，生成視頻的多張光流場矢量圖；將多張光流場矢量圖量化為三通道彩色圖像，三通道彩色圖像能夠表征視頻中物體運動方向；利用預先訓練的深度學習神經網絡對三通道彩色圖像進行處理，識別視頻中物體運動方向。本發明通過計算稠密光流生成光流場矢量圖，并將量化的三通道彩色圖像輸入深度學習神經網絡進行處理，能夠較為精確的自動識別視頻中物體的運動方向。

技術領域

本發明涉及多媒體技術領域，特別涉及一種識別視頻中物體運動方向的方法、裝置以及計算機可讀存儲介質。

背景技術

視頻在播放過程中，視頻中的物體例如可能處于順時針旋轉、逆時針旋轉、不旋轉等狀態。對于視頻中物體運動狀態的自動識別，在多媒體技術領域中具有重要意義。

然而，傳統的技術很難較為精確的自動識別視頻中物體的運動方向。因此，如何提高自動識別視頻中物體的運動方向的精確度，逐漸成為人們關注的焦點。

發明內容

本發明解決的一個技術問題是，如何較為精確的自動識別視頻中物體的運動方向。

根據本發明實施例的一個方面，提供了一種識別視頻中物體運動方向的方法，包括：計算視頻的稠密光流，生成視頻的多張光流場矢量圖；將多張光流場矢量圖量化為三通道彩色圖像，三通道彩色圖像能夠表征視頻中物體運動方向；利用預先訓練的深度學習神經網絡對三通道彩色圖像進行處理，識別視頻中物體運動方向。

在一些實施例中，將多張光流場矢量圖量化為三通道彩色圖像包括：對于每個像素坐標，將各張光流場矢量圖的光流矢量方向角量化為第一顏色通道的亮度值以及第二顏色通道的亮度值，將張光流場矢量圖的光流矢量模量化為第三顏色通道的亮度值；對于每個像素坐標，計算量化后的各張光流場矢量圖的各個顏色通道的亮度均值；利用各個顏色通道的亮度均值生成三通道彩色圖像。

在一些實施例中，第一顏色通道為紅色通道，第二顏色通道為綠色通道，第三顏色通道為藍色通道，三通道彩色圖像為RGB圖像。

在一些實施例中，方法還包括：將預先設置的三通道彩色圖像以及對應的視頻中物體實際運動方向輸入深度學習神經網絡，以對深度學習神經網絡進行訓練，使得深度學習神經網絡能夠根據輸入的三通道彩色圖像預測視頻中物體的運動方向。

在一些實施例中，該方法還包括：將Tinynet網絡模型中位于最后一層的全連接層用全局平均池化層代替，生成深度學習神經網絡。

在一些實施例中，該方法還包括：將Tinynet、Googlenet、Caffenet、Resnet50網絡模型中的一種作為深度學習神經網絡。

在一些實施例中，計算視頻的稠密光流，生成視頻的多張光流場矢量圖包括：根據相鄰的兩個視頻幀對應的灰度圖像，計算視頻的稠密光流，得到視頻的多張光流場矢量圖。

根據本發明實施例的另一個方面，提供了一種識別視頻中物體運動方向的裝置，包括：光流場矢量圖生成模塊，用于計算視頻的稠密光流，生成視頻的多張光流場矢量圖；彩色圖像量化模塊，用于將多張光流場矢量圖量化為三通道彩色圖像，三通道彩色圖像能夠表征視頻中物體運動方向；運動方向識別模塊，用于利用預先訓練的深度學習神經網絡對三通道彩色圖像進行處理，識別視頻中物體運動方向。

在一些實施例中，彩色圖像量化模塊用于：對于每個像素坐標，將各張光流場矢量圖的光流矢量方向角量化為第一顏色通道的亮度值以及第二顏色通道的亮度值，將張光流場矢量圖的光流矢量模量化為第三顏色通道的亮度值；對于每個像素坐標，計算量化后的各張光流場矢量圖的各個顏色通道的亮度均值；利用各個顏色通道的亮度均值生成三通道彩色圖像。

在一些實施例中，第一顏色通道為紅色通道，第二顏色通道為綠色通道，第三顏色通道為藍色通道，三通道彩色圖像為RGB圖像。