[發明專利]時序動作片段的確定方法、動作檢測方法及裝置

有效

• 申請號: 202010215782.6
• 申請日: 2020-03-24
• 公開（公告）號: CN111414868B
• 公開（公告）日: 2023-05-16
• 發明（設計）人: 孫宇超;姚聰
• 申請（專利權）人: 北京曠視科技有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/762;G06V10/74
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 董艷芳

1.一種時序動作片段的確定方法，其特征在于，所述方法包括：

獲取原始視頻中的原始聚類中心；其中，所述原始聚類中心為多個，分別位于所述原始視頻的不同幀位置；

以每個所述原始聚類中心分別作為臨時聚類中心，并重復執行以下操作，直至所述操作滿足預設的迭代停止規則時停止：計算所述原始視頻中的幀圖像與各所述臨時聚類中心之間的聚類距離；基于所述聚類距離確定歸屬于各所述臨時聚類中心的幀圖像集合；基于所述幀圖像集合對所述臨時聚類中心進行變更，得到新的臨時聚類中心；

將所述操作停止時對應的新的臨時聚類中心確定為目標聚類中心，并根據所述目標聚類中心和歸屬于所述目標聚類中心的幀圖像集合確定超視頻幀；其中，每個所述超視頻幀為一個視頻幀序列；

基于每個所述超視頻幀確定所述原始視頻包含的時序動作片段。

2.根據權利要求1所述的方法，其特征在于，所述獲取原始視頻中的原始聚類中心的步驟，包括：

根據預設的視頻分段長度將原始視頻劃分為多個分段視頻，并在各個所述分段視頻的中間幀圖像處確定參考點；其中，所述參考點用于表征所述原始視頻中的原始聚類中心的參考位置；

將各個所述分段視頻的中間幀圖像逐一作為當前幀圖像，并執行如下操作：

檢測所述當前幀圖像和相鄰幀圖像中每相鄰兩張幀圖像之間的相似度；其中，所述相鄰幀圖像為與所述當前幀圖像相鄰預設幀數的幀圖像；

根據檢測到的相似度對所述參考點進行調整，將調整后的參考點對應的幀圖像作為所述原始視頻中的原始聚類中心。

3.根據權利要求1所述的方法，其特征在于，所述計算所述原始視頻中的幀圖像與各所述臨時聚類中心之間的聚類距離的步驟，包括：

根據以下函數計算所述原始視頻中的幀圖像與各所述臨時聚類中心之間的聚類距離：

其中，D_i,j為所述原始視頻中第i張幀圖像與第j個臨時聚類中心之間的聚類距離，d_f為第i張幀圖像與第j個臨時聚類中心之間的特征距離，d_t為第i張幀圖像與第j個臨時聚類中心之間的時間距離，S為預設的視頻分段長度，m為預設定值。

4.根據權利要求1所述的方法，其特征在于，所述基于所述聚類距離確定歸屬于各所述臨時聚類中心的幀圖像集合的步驟，包括：

針對所述原始視頻中的每張幀圖像，在該幀圖像與所述臨時聚類中心之間的多個聚類距離中選取最小聚類距離，通過將該幀圖像歸屬于所述最小聚類距離對應的臨時聚類中心，得到聚類結果；其中，所述聚類結果表示該幀圖像與所述最小聚類距離對應的臨時聚類中心之間的對應關系；

根據所述原始視頻中的每張幀圖像對應的聚類結果確定各所述臨時聚類中心對應的幀圖像集合。

5.根據權利要求1所述的方法，其特征在于，所述根據所述目標聚類中心和歸屬于所述目標聚類中心的幀圖像集合確定超視頻幀的步驟，包括：

在歸屬于所述目標聚類中心的幀圖像集合和所述目標聚類中心對應的幀圖像中確定幀位置連續的至少一個視頻幀序列；

將每個所述視頻幀序列確定為一個超視頻幀。

6.根據權利要求1或5所述的方法，其特征在于，所述方法還包括：

根據預設長度值將所述超視頻幀劃分為第一超視頻幀和第二超視頻幀；其中，所述第一超視頻幀為長度大于或等于所述預設長度值的超視頻幀，所述第二超視頻幀為長度小于所述預設長度值的超視頻幀；

對所述第二超視頻幀和所述第一超視頻幀進行合并操作，得到合并后的超視頻幀。

7.根據權利要求6所述的方法，其特征在于，所述對所述第二超視頻幀和所述第一超視頻幀進行合并操作，得到合并后的超視頻幀的步驟，包括：

根據所述第二超視頻幀中各幀圖像的幀位置，將所述第二超視頻幀合并于幀位置相距最近的所述第一超視頻幀中，得到合并后的超視頻幀；和/或，根據所述第二超視頻幀對應的目標聚類中心，將所述第二超視頻幀合并至所述目標聚類中心相同的所述第一超視頻幀中，得到所述合并后的超視頻幀。