[發明專利]一種基于深度協同矩陣分解的短視頻多標簽分類方法

有效

• 申請號: 202010081003.8
• 申請日: 2020-02-05
• 公開（公告）號: CN111339362B
• 公開（公告）日: 2023-07-18
• 發明（設計）人: 井佩光;洪道政;蘇育挺
• 申請（專利權）人: 天津大學
• 主分類號: G06F16/75
• 分類號: G06F16/75;G06F16/78;G06N3/08
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李林娟

1.一種基于深度協同矩陣分解的短視頻多標簽分類方法，其特征在于，所述方法包括以下步驟：

獲取短視頻特征和類別特征，并分別分解為若干個基矩陣和一個重構特征矩陣，引入對重構特征矩陣的低秩約束；

結合特征屬性關聯性的學習，對短視頻特征和類別特征進行分解；同時利用標簽矩陣建立短視頻特征和類別特征之間的聯系：引入類間關系學習使短視頻特征有利于多標簽分類；

結合F范數整和目標項獲取目標函數，利用拉格朗日乘子法優化目標函數，直至函數值收斂，利用得到的基矩陣和分類器得到短視頻多標簽的分類結果；

所述獲取短視頻特征和類別特征具體為：

將每一個短視頻按等時間間隔采樣出16幀，每一幀的圖像用谷歌深度神經網絡提取特征，維度為2048維，再經過主成分分析降維，維度由2048減少至1024，之后取這16個1024維度的特征的平均值作為每個短視頻的特征；

同時將短視頻特征X和類別特征A分別分解為l個基矩陣和一個重構特征矩陣：

其中，Z₁Z₂…Z_l，L₁L₂…L_l分別是短視頻特征和類別特征的基矩陣；H和W分別是短視頻特征和類別特征的重構特征矩陣；

引入對重構特征矩陣的低秩約束，以減少冗余信息：

s.t.X＝Z₁Z₂…Z_lH,A＝L₁L₂…L_lW

其中，||·||_*是核范數；

獲取谷歌深度神經網絡的最后一層全連接層作為類別特征，并將類別特征的維度由2048維經主成分分析降至1024維；

所述引入對重構特征矩陣的低秩約束具體為：

s.t.X＝Z₁Z₂…Z_lH,A＝L₁L₂…L_lW

其中，||·||_*是核范數，H和W分別是短視頻特征和類別特征的重構特征矩陣，Z₁Z₂…Z_l，L₁L₂…L_l分別是短視頻特征和類別特征的基矩陣；

所述利用標簽矩陣建立短視頻特征和類別特征之間的聯系具體為：

H^TW≈Q

其中，Q為標簽矩陣；

所述結合F范數整和目標項獲取目標函數具體為：

s.t.Ω₁,Ω₂,Ψ≥0；tr(Ω₁)＝tr(Ω₂)＝tr(Ψ)＝1.

其中，λ₁，…,λ₆是系數；||·||_F是F范數；

所述利用得到的基矩陣和分類器得到短視頻多標簽的分類結果具體為：

其中，S₂是最終輸出的分類結果；是偽逆運算；s?o?f?t?m?a?x(·)是softmax歸一化操作。