[發明專利]對時間序列圖像數據進行分類

在審

• 申請號: 201910770815.0
• 申請日: 2019-08-20
• 公開（公告）號: CN110858316A
• 公開（公告）日: 2020-03-03
• 發明（設計）人: 高拉夫·庫馬爾·辛格;帕維特拉·馬達范;布魯諾·賈爾斯科斯塔;金塔拉斯·文森特·普斯科里奧斯;迪米塔爾·彼得羅夫·費尤伍
• 申請（專利權）人: 福特全球技術公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/00
• 代理公司: 北京連和連知識產權代理有限公司 11278
• 代理人: 張濤

本公開提供了“對時間序列圖像數據進行分類”。本發明延伸到用于對時間序列圖像數據進行分類的方法、系統和計算機程序產品。本發明的各方面包括將來自視頻幀的運動信息編碼在偏心率圖中。偏心率圖基本上是聚集了來自多個視頻幀的對象、表面和邊緣的表觀運動的靜態圖像。一般而言，偏心率反映數據點與同一組變量的過去的讀數如何不同。神經網絡能夠被訓練以從偏心率圖檢測視頻中的動作并對所述動作進行分類。偏心率圖能夠作為輸入提供到神經網絡。來自所述神經網絡的輸出能夠指示視頻中的檢測到的運動是否被分類為例如像手勢的動作。

技術領域

本發明總體上涉及圖像分類領域，并且更具體地涉及對時間序列圖像數據進行分類。

背景技術

卷積神經網絡(CNN)有能力在每幀的基礎上識別視頻中類似人、動物和車輛的對象。然而，CNN難以檢測在幀之間的這類對象的運動速度和方向。使用傳統的計算機視覺技術來手工處理特征的基于表示的解決方案可以顯著改進對運動速度和方向的檢測。然而，基于表示的解決方案需要足夠的人類專業知識，并且對于現實世界解決方案而言通常不是穩健的。

發明內容

將多個視頻流幀輸入到第一神經網絡。存取第一神經網絡的輸出。從多個幀獲得一個或多個偏心率圖。將一個或多個偏心率圖輸入到第二神經網絡。存取第一神經網絡的輸出。將第一輸出與第二輸出融合為融合輸出。從融合輸出對視頻流中出現的動作進行分類。

附圖說明

參考以下描述和附圖將更好地理解本發明的具體特征、方面和優點，在附圖中：

圖1示出了計算裝置的示例框圖。

圖2示出了用于計算偏心率的示例方程式。

圖3示出了用于使用移動窗口方法計算數據樣本平均值和數據樣本方差的示例方程式。

圖4示出了用于對幀觀測進行加權的示例方程式。

圖5示出了用于逼近偏心率的示例方程式。

圖6示出了用于計算偏心率圖的示例計算機架構。

圖7示出了動態場景的示例視頻流幀和基于視頻流的過去的幀而實現的示例偏心率圖。

圖8A示出了有助于對視頻流中的動作進行分類的示例計算機架構。

圖8B示出了有助于對視頻流中的動作進行分類的另一個示例計算機架構。

圖9A示出了對視頻流中的動作進行分類的示例方法的流程圖。

圖9B示出了對視頻流中的動作進行分類的另一種示例方法的流程圖。

圖10示出了視頻幀序列的示例和對應的示例偏心率圖。

圖11A示出了有助于對視頻流中的動作進行分類的示例架構。

圖11B示出了有助于對視頻流中的動作進行分類的另一個示例架構。

具體實施方式

本發明延伸到用于對時間序列圖像數據進行分類的方法、系統和計算機程序產品。

考慮到一組有序圖像，有許多技術可用于捕獲因觀測者與場景之間的相對運動而引起的視覺場景中對象的表觀運動模式。一些技術包括光流場、扭曲光流、連續幀差和人視網膜上激發的模型，所述模型可以是有限和無線脈沖響應濾波器或可分離和不可分離的時空分量。然而，這些技術在計算上成本較高，從而限制了其在實時操作中的有用性。此外，這些技術可能對復雜參數的最優選擇比較敏感，這往往需要由專家調節。