[發明專利]視頻理解方法及裝置

有效

• 申請號: 201610509780.1
• 申請日: 2016-07-01
• 公開（公告）號: CN107563257B
• 公開（公告）日: 2021-06-15
• 發明（設計）人: 俞剛;李超;何奇正;陳牧歌;彭雨翔;呂凱風;印奇
• 申請（專利權）人: 北京曠視科技有限公司;北京邁格威科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06T7/55
• 代理公司: 北京市磐華律師事務所 11336
• 代理人: 高偉;卜璐璐

本發明提供了一種視頻理解方法及裝置，所述視頻理解方法包括：獲取視頻數據；對所獲取的視頻數據進行場景深度估計；以及基于所述場景深度估計的結果進行場景內容理解。根據本發明實施例的視頻理解方法及裝置通過對場景的深度進行估計，依據場景的深度信息來對場景內容進行分析和理解，能夠高效、準確地識別和定位視頻內容中的物體。

技術領域

本發明涉及視頻處理技術領域，更具體地涉及一種視頻理解方法及裝置。

背景技術

視頻數據的結構化，通過對視頻內容的智能理解，對于視頻廣告、智能安防等都有著非常重要的價值。比如，對于互聯網上的視頻內容(比如電視節目)，通過視頻的智能化處理，可以得到一些視頻中物體的集合(比如在某汽車在視頻的第t幀的某個位置開始出現，直到t+k幀結束，其中t和k為自然數)。可以通過對視頻內容的理解，來進行廣告的鏈接。另一方面，在安防場景中，比如某輛自行車丟失，可以通過視頻的結構化數據找到這輛自行車，然后鎖定其被某人偷取的某個時刻。對視頻的智能理解的應用遠遠不限于上述的例子。

目前視頻內容的理解往往通過人力來完成。但是當視頻數據量隨著攝像頭數量的爆發式增長而極速增加時，通過人力來完成對視頻數據的理解和挖掘已經不可行了。現有的智能算法往往直接對視頻內容進行分析和理解，但是當視頻場景比較嘈雜的時候，往往很難準確地定位出視頻內容中的物體。

發明內容

考慮到上述問題而提出了本發明。本發明提供了一種視頻理解方法及裝置，其通過對場景的深度進行估計，依據場景的深度信息來對場景的背景信息進行分析和理解，能夠高效、準確地識別和定位視頻內容中的物體。

根據本發明一方面，提供了一種視頻理解方法，所述視頻理解方法包括：獲取視頻數據；對所獲取的視頻數據進行場景深度估計；以及基于所述場景深度估計的結果進行場景內容理解。

在本發明的一個實施例中，所述視頻理解方法還包括：在獲取所述視頻數據后對所述視頻數據進行多尺度操作，并且所述場景深度估計和所述場景內容理解在多個尺度上進行；以及將多個尺度上的場景內容理解結果進行融合。

在本發明的一個實施例中，所述場景深度估計進一步包括：對所述視頻數據中的至少一幀進行特征提取；以及基于所提取的特征進行視頻序列整合，以得到場景深度信息。

在本發明的一個實施例中，所述特征提取利用第一卷積神經網絡實現，所述視頻序列整合利用第一時序神經網絡實現。

在本發明的一個實施例中，所述第一卷積神經網絡通過將訓練好的標準卷積神經網絡剔除全連接層后得到。

在本發明的一個實施例中，所述第一卷積神經網絡還包括損失層，以用于實現網絡正則化。

在本發明的一個實施例中，所述視頻序列整合包括空間信息整合和時間信息整合。

在本發明的一個實施例中，所述第一時序神經網絡包括第一循環神經網絡和第二循環神經網絡，其中，所述基于所提取的特征進行視頻序列整合以得到場景深度信息包括：

利用所述第一循環神經網絡，基于所提取的特征整合空間上的背景信息；

利用所述第二循環神經網絡，基于時間軸上的信息對所述第一循環神經網絡的輸出進行平滑，以得到場景深度信息。

示例性地，所述第二循環神經網絡的輸出包括深度圖，其中所述深度圖上的每個點表示該像素點對應的物體到攝像頭的距離。

在本發明的一個實施例中，所述場景內容理解進一步包括：基于所述視頻數據和所述場景深度估計的結果對場景進行分析，以得到像素級的類別輸出；以及基于所述像素級的類別輸出進行空間信息整合和時間信息整合。

在本發明的一個實施例中，所述對場景的分析利用第二卷積神經網絡實現，所述空間信息整合和時間信息整合利用第二時序神經網絡實現。