[發明專利]一種基于結構化分段網絡的時間動作檢測方法

在審

• 申請號: 201710429060.9
• 申請日: 2017-06-08
• 公開（公告）號: CN107292249A
• 公開（公告）日: 2017-10-24
• 發明（設計）人: 夏春秋
• 申請（專利權）人: 深圳市唯特視科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及動作檢測領域，尤其是涉及了一種基于結構化分段網絡的時間動作檢測方法。

背景技術

隨著影視、網絡等媒體的迅速普及和發展，視頻已成為信息的主要載體，且視頻數據的數量呈爆炸式增長，因此相關的視頻處理技術也正在發展中。針對視頻的動作檢測技術是當前研究的重點之一，具有很高的研究價值和廣泛的應用前景，比如，它可以用于自動售貨機、ATM機、商場、車站等公共場合的智能監控、人群中危險姿勢的監控、虛擬現實、人機交互、體育及娛樂運動分析等，在工業、醫療、軍事和生活等也需要用到人體動作檢測裝置來進行模擬訓練。然而，現今的動作檢測方法計算成本高，定位動作時精確度不高，急需改進以滿足使用需求。

本發明提出了一種基于結構化分段網絡的時間動作檢測方法，框架產生一組不同持續時間的時間提案，每個提案都有一個開始和結束的時間；在每個提案之后，將構建一個時間金字塔，從而產生提案的全局表示；最后分別用于識別活動類別和評估完整性的兩個分類器，并將它們的預測組合起來，從而產生有類別標簽的實例的一個子集，過濾背景或不完整的提案。本發明克服了長期建模的計算問題，實現了長視頻高效的端到端訓練；能夠精確地定位時間邊界和定位動作，降低計算成本，從而允許對長期時間結構進行建模，進一步提高檢測性能。

發明內容

針對計算成本高等問題，本發明的目的在于提供一種基于結構化分段網絡的時間動作檢測方法，框架產生一組不同持續時間的時間提案，每個提案都有一個開始和結束的時間；在每個提案之后，將構建一個時間金字塔，從而產生提案的全局表示；最后分別用于識別活動類別和評估完整性的兩個分類器，并將它們的預測組合起來，從而產生有類別標簽的實例的一個子集，過濾背景或不完整的提案。

為解決上述問題，本發明提供一種基于結構化分段網絡的時間動作檢測方法，其主要內容包括：

(一)三級結構；

(二)結構時間金字塔池；

(三)活動和完整性分類器；

(四)位置回歸和多任務損失函數；

(五)降低計算成本。

其中，所述的結構化分段網絡，提出的結構化分段網絡框架將輸入視頻和一組時間動作提案；它輸出一組與類別標簽相關聯的預測活動實例和時間范圍(由起始點和終點界定)；從輸入到輸出，需要三個關鍵步驟；首先，框架產生一組不同持續時間的時間提案，每個提案都有一個開始和結束的時間；在每個提案之后，將構建一個時間金字塔，從而產生提案的全局表示；最后，分別用于識別活動類別和評估完整性的兩個分類器，并將它們的預測組合起來，從而產生有類別標簽的實例的一個子集，背景或不完整的其他提案將被過濾掉。

其中，所述的三級結構，在輸入級別，視頻可以表示為T片段序列，表示為這里，一個片段包含幾個連續的幀，其總體上由RGB圖像和光流棧組合表征；考慮一組給定的N個提議每個提案p_i由起始時間s_i和結束時間e_i組成；因此，p_i的持續時間為d_i＝e_i-s_i；在s′_i＝s_i-d_i/2和e′_i＝e_i+d_i/2的情況下，將每個提案p_i增加到p′_i＝[s′_i,e′_i]；增加的提案p′_i將p_i的跨度加倍，超過起始點和結束點，分別為d_i/2；如果提案與完成的實例精確對齊，則增強的提案不僅將捕獲活動的固有過程，而且還將捕獲如何開始以及如何結束；按照三個階段的概念，將增強提案p′_i劃分為三個連續的間隔：和分別對應于開始、進程和結束階段。

其中，所述的結構時間金字塔池，結構化分段網絡框架通過時間金字塔池來為每個提案提供全局表示；具體來說，給定一個增加的提案p′_i分為三個階段和首先分別通過時間金字塔池合并計算逐級特征向量和然后將它們連接成全局表示；具體來說，間隔[s,e]將覆蓋一系列片段，表示為{S_t|s≤t≤e}；對于每個片段，可以獲得一個特征向量v_t；