[發明專利]識別視頻中物體運動方向的方法及裝置

有效

• 申請號: 201810296899.4
• 申請日: 2018-04-03
• 公開（公告）號: CN108520532B
• 公開（公告）日: 2020-12-22
• 發明（設計）人: 車廣富;安山;黃志標;陳宇
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06T7/269
• 分類號: G06T7/269
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 姜雍;劉劍波

1.一種識別視頻中物體運動方向的方法，包括：

計算視頻的稠密光流，生成視頻的多張光流場矢量圖；

將所述多張光流場矢量圖量化為三通道彩色圖像，所述三通道彩色圖像能夠表征視頻中物體的運動方向；

利用預先訓練的深度學習神經網絡對所述三通道彩色圖像進行處理，識別視頻中物體的運動方向。

2.如權利要求1所述的方法，其中，所述將所述多張光流場矢量圖量化為三通道彩色圖像包括：

對于每個像素坐標，將各張光流場矢量圖的光流矢量方向角量化為第一顏色通道的亮度值以及第二顏色通道的亮度值，將各張光流場矢量圖的光流矢量模量化為第三顏色通道的亮度值；

對于每個像素坐標，計算量化后的各張光流場矢量圖的各個顏色通道的亮度均值；

利用各個顏色通道的亮度均值生成三通道彩色圖像。

3.如權利要求2所述的方法，其中，所述第一顏色通道為紅色通道，所述第二顏色通道為綠色通道，所述第三顏色通道為藍色通道，所述三通道彩色圖像為RGB圖像。

4.如權利要求1所述的方法，其中，所述方法還包括：

將預先設置的三通道彩色圖像以及對應的視頻中物體的實際運動方向輸入深度學習神經網絡，以對所述深度學習神經網絡進行訓練，使得所述深度學習神經網絡能夠根據輸入的三通道彩色圖像預測視頻中物體的運動方向。

5.如權利要求4所述的方法，其中，所述方法還包括：將Tinynet網絡模型中位于最后一層的全連接層用全局平均池化層代替，生成所述深度學習神經網絡。

6.如權利要求4所述的方法，其中，所述方法還包括：

將Tinynet、Googlenet、Caffenet、Resnet50網絡模型中的一種作為所述深度學習神經網絡。

7.如權利要求1所述的方法，其中，所述計算視頻的稠密光流，生成視頻的多張光流場矢量圖包括：

根據相鄰的兩個視頻幀對應的灰度圖像，計算視頻的稠密光流，得到視頻的多張光流場矢量圖。

8.一種識別視頻中物體運動方向的裝置，包括：

光流場矢量圖生成模塊，用于計算視頻的稠密光流，生成視頻的多張光流場矢量圖；

彩色圖像量化模塊，用于將所述多張光流場矢量圖量化為三通道彩色圖像，所述三通道彩色圖像能夠表征視頻中物體的運動方向；

運動方向識別模塊，用于利用預先訓練的深度學習神經網絡對所述三通道彩色圖像進行處理，識別視頻中物體的運動方向。

9.如權利要求8所述的裝置，其中，所述彩色圖像量化模塊用于：

對于每個像素坐標，將各張光流場矢量圖的光流矢量方向角量化為第一顏色通道的亮度值以及第二顏色通道的亮度值，將各張光流場矢量圖的光流矢量模量化為第三顏色通道的亮度值；

對于每個像素坐標，計算量化后的各張光流場矢量圖的各個顏色通道的亮度均值；

利用各個顏色通道的亮度均值生成三通道彩色圖像。

10.如權利要求9所述的裝置，其中，所述第一顏色通道為紅色通道，所述第二顏色通道為綠色通道，所述第三顏色通道為藍色通道，所述三通道彩色圖像為RGB圖像。

11.如權利要求8所述的裝置，其中，所述裝置還包括：

神經網絡訓練模塊，用于將預先設置的三通道彩色圖像以及對應的視頻中物體的實際運動方向輸入深度學習神經網絡，以對所述深度學習神經網絡進行訓練，使得所述深度學習神經網絡能夠根據輸入的三通道彩色圖像預測視頻中物體的運動方向。

12.如權利要求11所述的裝置，其中，所述裝置還包括：

第一神經網絡生成模塊，用于將Tinynet網絡模型中位于最后一層的全連接層用全局平均池化層代替，生成所述深度學習神經網絡。