[發明專利]一種視頻識別方法和裝置

有效

• 申請號: 201811513752.2
• 申請日: 2018-12-11
• 公開（公告）號: CN109600627B
• 公開（公告）日: 2021-12-24
• 發明（設計）人: 石海超;李長升;段立新;欒琛琳;夏虎
• 申請（專利權）人: 國信優易數據股份有限公司
• 主分類號: H04N21/234
• 分類號: H04N21/234;H04N21/44;G06K9/00
• 代理公司: 北京超凡志成知識產權代理事務所(普通合伙) 11371
• 代理人: 蘇勝

1.一種視頻識別方法，其特征在于，該方法包括：

將包含第一內容的第一視頻的第一特征信息輸入到第一模型，計算得到第三特征信息，以及將包含第二內容的第二視頻的第二特征信息輸入到第二模型，計算得到第四特征信息，其中，所述第一內容與所述第二內容屬于同一類別；所述第一模型包括第一神經網絡模型以及第一自注意力機制模型，和/或，所述第二模型包括第二神經網絡模型以及第二自注意力機制模型；

基于第三特征信息和/或第四特征信息，計算或更新所述第一模型中的第一參數；所述第一參數為所述第一自注意力機制模型的權重向量；

基于所述第一參數，確定所述第一內容在所述第一視頻中的位置；

所述方法還包括：基于第三特征信息和/或第四特征信息，計算或更新所述第一模型中的第二參數，所述第二參數為所述第一神經網絡模型中的模型參數；

所述基于第三特征信息和/或第四特征信息，計算或更新所述第一模型中的第一參數，包括：計算所述第三特征信息與所述第四特征信息之間的距離，以及基于所述第三特征信息對所述第一視頻進行分類，計算分類損失，通過最小化所述距離和/或所述分類損失，更新所述第一模型中的所述第一參數；和/或，

所述基于第三特征信息和/或第四特征信息，計算或更新所述第一模型中的第二參數，包括：通過最小化所述距離和/或所述分類損失，計算或更新所述第一模型中的所述第二參數。

2.如權利要求1所述的方法，其特征在于，所述第一特征信息由所述第一視頻的視頻幀特征信息和視頻光流特征信息計算得到。

3.如權利要求1所述的方法，其特征在于，所述將包含第一內容的第一視頻的第一特征信息輸入到第一模型，計算得到第三特征信息，包括：

由所述第一神經網絡模型對所述第一特征信息進行連接處理后，基于所述第一自注意力機制模型，計算得到所述第三特征信息；和/或

所述將包含第二內容的第二視頻的第二特征信息輸入到第二模型，計算得到第四特征信息，包括：

由所述第二神經網絡模型對所述第二特征信息進行連接處理后，基于所述第二自注意力機制模型，計算得到所述第四特征信息。

4.如權利要求1所述的方法，其特征在于，所述基于所述第一參數，確定所述第一內容在所述第一視頻中的位置，包括：

使用所述第一模型計算所述第一視頻的最終分類結果；

基于所述第一參數和所述最終分類結果，確定所述第一內容在所述第一視頻中的時間區間。

5.如權利要求1所述的方法，其特征在于，所述第一自注意力機制模型的權重向量的維度與所述第一視頻的視頻幀的數量對應。

6.如權利要求1-5任一所述的方法，其特征在于，所述第一內容和所述第二內容均為行為內容。

7.一種視頻識別裝置，其特征在于，該裝置包括：

第一計算模塊，用于將包含第一內容的第一視頻的第一特征信息輸入到第一模型，計算得到第三特征信息，以及將包含第二內容的第二視頻的第二特征信息輸入到第二模型，計算得到第四特征信息，其中，所述第一內容與所述第二內容屬于同一類別；所述第一模型包括第一神經網絡模型以及第一自注意力機制模型，和/或，所述第二模型包括第二神經網絡模型以及第二自注意力機制模型；

第二計算模塊，用于基于第三特征信息和/或第四特征信息，計算或更新所述第一模型中的第一參數；所述第一參數為所述第一自注意力機制模型的權重向量；

確定模塊，用于基于所述第一參數，確定所述第一內容在所述第一視頻中的位置；

所述第二計算模塊，還用于基于第三特征信息和/或第四特征信息，計算或更新所述第一模型中的第二參數，所述第二參數為所述第一神經網絡模型中的模型參數；

所述第二計算模塊，具體用于計算所述第三特征信息與所述第四特征信息之間的距離，以及基于所述第三特征信息對所述第一視頻進行分類，計算分類損失，通過最小化所述距離和/或所述分類損失，更新所述第一模型中的所述第一參數；和/或，通過最小化所述距離和/或所述分類損失，計算或更新所述第一模型中的所述第二參數。