[發明專利]時序動作片段的確定方法、動作檢測方法及裝置

有效

• 申請號: 202010215782.6
• 申請日: 2020-03-24
• 公開（公告）號: CN111414868B
• 公開（公告）日: 2023-05-16
• 發明（設計）人: 孫宇超;姚聰
• 申請（專利權）人: 北京曠視科技有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/762;G06V10/74
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 董艷芳

本發明提供了一種時序動作片段的確定方法、動作檢測方法及裝置，涉及視頻識別技術領域，該方法包括：獲取原始視頻中的多個原始聚類中心；以每個原始聚類中心分別作為臨時聚類中心，并重復執行以下操作，直至操作滿足預設的迭代停止規則時停止：計算原始視頻中的幀圖像與各臨時聚類中心之間的聚類距離；基于聚類距離確定歸屬于各臨時聚類中心的幀圖像集合；基于幀圖像集合對臨時聚類中心進行變更，得到新的臨時聚類中心；將操作停止時對應的新的臨時聚類中心確定為目標聚類中心，并根據目標聚類中心和歸屬于目標聚類中心的幀圖像集合確定超視頻幀；基于每個超視頻幀確定原始視頻包含的時序動作片段。本發明能夠有效提升生成序動作片段的準確性。

技術領域

本發明涉及視頻識別技術領域，尤其是涉及一種時序動作片段的確定方法、動作檢測方法及裝置。

背景技術

視頻時序動作檢測是指在包含一個或多個動作片段的長視頻中，既要識別長視頻中發生的動作種類，又要定位出這些動作發生的時序邊界(也即時間區間)。大部分時序動作檢測方法主要包括：先得到視頻中包含時序動作的片段，然后再檢測該片段中的動作；可見，時序動作片段的獲得在時序動作檢測過程中起著重要作用。目前，最常見的時序動作的生成方法包括滑動窗口方法和分析動作性(actionness)方法。

然而，滑動窗口方法因滑動窗口的邊界是固定的，導致產生的時序動作片段的邊界不準確，從而影響動作分類的檢測結果；分析動作性方法通過判斷每一視頻幀屬于動作起始、動作過程以及動作結束的概率，來生成時序動作片段，由此生成的時序動作片段無法表示動作的概念，導致對真實動作的召回率不高，也會影響動作分類的檢測結果。因此，準確地生成時序動作片段是當前時序動作檢測方法所面臨的巨大挑戰。

發明內容

有鑒于此，本發明的目的在于提供一種時序動作片段的確定方法、動作檢測方法及裝置，能夠有效提升生成序動作片段的準確性。

為了實現上述目的，本發明實施例采用的技術方案如下：

第一方面，本發明實施例提供了一種時序動作片段的確定方法，所述方法包括：獲取原始視頻中的原始聚類中心；其中，所述原始聚類中心為多個，分別位于所述原始視頻的不同幀位置；以每個所述原始聚類中心分別作為臨時聚類中心，并重復執行以下操作，直至所述操作滿足預設的迭代停止規則時停止：計算所述原始視頻中的幀圖像與各所述臨時聚類中心之間的聚類距離；基于所述聚類距離確定歸屬于各所述臨時聚類中心的幀圖像集合；基于所述幀圖像集合對所述臨時聚類中心進行變更，得到新的臨時聚類中心；將所述操作停止時對應的新的臨時聚類中心確定為目標聚類中心，并根據所述目標聚類中心和歸屬于所述目標聚類中心的幀圖像集合確定超視頻幀；其中，每個所述超視頻幀為一個視頻幀序列；基于每個所述超視頻幀確定所述原始視頻包含的時序動作片段。

進一步，所述獲取原始視頻中的原始聚類中心的步驟，包括：根據預設的視頻分段長度將原始視頻劃分為多個分段視頻，并在各個所述分段視頻的中間幀圖像處確定參考點；其中，所述參考點用于表征所述原始視頻中的原始聚類中心的參考位置；將各個所述分段視頻的中間幀圖像逐一作為當前幀圖像，并執行如下操作：檢測所述當前幀圖像和相鄰幀圖像中每相鄰兩張幀圖像之間的相似度；其中，所述相鄰幀圖像為與所述當前幀圖像相鄰預設幀數的幀圖像；根據檢測到的相似度對所述參考點進行調整，將調整后的參考點對應的幀圖像作為所述原始視頻中的原始聚類中心。

進一步，所述計算所述原始視頻中的幀圖像與各所述臨時聚類中心之間的聚類距離的步驟，包括：根據以下函數計算所述原始視頻中的幀圖像與各所述臨時聚類中心之間的聚類距離：

其中，D_i,j為所述原始視頻中第i張幀圖像與第j個臨時聚類中心之間的聚類距離，d_f為第i張幀圖像與第j個臨時聚類中心之間的特征距離，d_t為第i張幀圖像與第j個臨時聚類中心之間的時間距離，S為預設的視頻分段長度，m為預設定值。