[發明專利]視頻理解方法及裝置

有效

• 申請號: 201610509780.1
• 申請日: 2016-07-01
• 公開（公告）號: CN107563257B
• 公開（公告）日: 2021-06-15
• 發明（設計）人: 俞剛;李超;何奇正;陳牧歌;彭雨翔;呂凱風;印奇
• 申請（專利權）人: 北京曠視科技有限公司;北京邁格威科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06T7/55
• 代理公司: 北京市磐華律師事務所 11336
• 代理人: 高偉;卜璐璐

1.一種視頻理解方法，其特征在于，所述視頻理解方法包括：

獲取視頻數據；

對所獲取的視頻數據進行場景深度估計；以及

基于所述場景深度估計的結果進行場景內容理解；

所述場景深度估計進一步包括：

對所述視頻數據中的至少一幀進行特征提取；以及

基于所提取的特征進行視頻序列整合以得到場景深度信息；

其中，所述基于所提取的特征進行視頻序列整合以得到場景深度信息包括：

利用第一循環神經網絡基于所提取的特征整合空間上的背景信息；

利用第二循環神經網絡基于時間軸上的信息對所述第一循環神經網絡的輸出進行平滑，以得到場景深度信息，所述場景深度信息包括深度圖，其中所述深度圖上的每個像素點表示所述像素點對應的物體到攝像頭的距離。

2.根據權利要求1所述的視頻理解方法，其特征在于，所述視頻理解方法還包括：

在獲取所述視頻數據后對所述視頻數據進行多尺度操作，并且

所述場景深度估計和所述場景內容理解在多個尺度上進行；以及

將多個尺度上的場景內容理解結果進行融合。

3.根據權利要求1所述的視頻理解方法，其特征在于，所述特征提取利用第一卷積神經網絡實現，所述視頻序列整合利用第一時序神經網絡實現。

4.根據權利要求3所述的視頻理解方法，其特征在于，所述第一卷積神經網絡通過將訓練好的標準卷積神經網絡剔除全連接層后得到。

5.根據權利要求4所述的視頻理解方法，其特征在于，所述第一卷積神經網絡還包括損失層，以用于實現網絡正則化。

6.根據權利要求1所述的視頻理解方法，其特征在于，所述視頻序列整合包括空間信息整合和時間信息整合。

7.根據權利要求3所述的視頻理解方法，其特征在于，所述第一時序神經網絡包括所述第一循環神經網絡和所述第二循環神經網絡。

8.根據權利要求1至7任一項所述的視頻理解方法，其特征在于，所述場景內容理解進一步包括：

基于所述視頻數據和所述場景深度估計的結果對場景進行分析，以得到像素級的類別輸出；以及

基于所述像素級的類別輸出進行空間信息整合和時間信息整合。

9.根據權利要求8所述的視頻理解方法，其特征在于，所述對場景的分析利用第二卷積神經網絡實現，所述空間信息整合和時間信息整合利用第二時序神經網絡實現。

10.根據權利要求9所述的視頻理解方法，其特征在于，所述第二時序神經網絡包括第三循環神經網絡和第四循環神經網絡，其中，所述基于所述像素級的類別輸出進行空間信息整合和時間信息整合包括：

利用所述第三循環神經網絡，基于所述像素級的類別輸出進行空間信息的整合；

利用所述第四循環神經網絡，基于時間軸上的信息對所述第三循環神經網絡的輸出進行時間信息整合，以得到場景內容理解結果。

11.根據權利要求2所述的視頻理解方法，其特征在于，所述將多個尺度上的場景內容理解結果進行融合包括：

利用第三卷積神經網絡對多個尺度上的場景內容理解結果進行融合。

12.根據權利要求1所述的視頻理解方法，其特征在于，所述基于所述場景深度估計的結果進行場景內容理解包括：

基于所述場景深度估計的結果以及前一幀的場景內容理解結果，進行當前幀的場景內容理解。