[發(fā)明專利]基于跨模態(tài)哈希學(xué)習(xí)的視頻解析方法

有效

• 申請?zhí)枺?/td>: 202110447506.7
• 申請日: 2021-04-25
• 公開（公告）號: CN113111836B
• 公開（公告）日: 2022-08-19
• 發(fā)明（設(shè)計）人: 賈永坡;申培;胡宇鵬;甘甜;吳建龍;高贊;聶禮強(qiáng)
• 申請（專利權(quán)）人: 山東省人工智能研究院;山東大學(xué);河鋼數(shù)字技術(shù)股份有限公司;河鋼集團(tuán)有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/74;G06V10/77;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 濟(jì)南泉城專利商標(biāo)事務(wù)所 37218
• 代理人: 支文彬

1.一種基于跨模態(tài)哈希學(xué)習(xí)的視頻解析方法，其特征在于，包括：

a)對第k條視頻數(shù)據(jù)V_k進(jìn)行單元分割，k∈{1,...,K}，K為視頻數(shù)據(jù)總數(shù)，對分割后的視頻數(shù)據(jù)V_k輸入C3D網(wǎng)絡(luò)模型處理，將處理結(jié)果進(jìn)行池化操作得到基于視頻單元的特征表征V_k⁽⁰⁾，為第r個視頻單元的特征表征，R為視頻單元的總個數(shù)；

b)通過公式基于雙向時序卷積網(wǎng)絡(luò)對V_k⁽⁰⁾進(jìn)行上下文信息感知的特征增強(qiáng)，得到第i次雙向卷積處理后的視頻表征V_k⁽ⁱ⁾，式中ε為卷積核大小，ρ為稀疏率，Θ為雙向時序卷積操作，為經(jīng)過第i次雙向卷積處理的第r個視頻單元的特征表征；

c)完成三次雙向時序卷積，得到視頻表征V_k⁽³⁾，將視頻表征V_k⁽³⁾依次輸入多尺度卷積網(wǎng)絡(luò)和多層感知機(jī)網(wǎng)絡(luò)模型處理，得到視頻片段表征集合C_k，C_k＝{c_k,1,c_k,2,...,c_k,i，...，...,c_k,n}，c_k,i為第i個視頻片段表征，i∈{1,...,n}，n為視頻片段總個數(shù)；

d)對第k條視頻數(shù)據(jù)V_k的全體查詢語句構(gòu)成的集合Q_k通過基于長短時記憶網(wǎng)絡(luò)與多層感知機(jī)網(wǎng)絡(luò)的語義理解，生成相應(yīng)的查詢語句表征集合

e)基于交并比率IoU構(gòu)建跨模態(tài)相似矩陣M_k，將視頻片段表征集合C_k和查詢語句表征集合分別輸入全連接神經(jīng)網(wǎng)絡(luò)后基于跨模態(tài)相似矩陣進(jìn)行跨模態(tài)特征語義對齊，完成跨模態(tài)哈希網(wǎng)絡(luò)模型的建立，通過損失函數(shù)Γ訓(xùn)練跨模態(tài)哈希網(wǎng)絡(luò)模型；

f)將測試集輸入訓(xùn)練后的跨模態(tài)哈希網(wǎng)絡(luò)模型，將測試集中第r條視頻數(shù)據(jù)V_r和對第r條視頻數(shù)據(jù)V_r的全體查詢語句構(gòu)成的集合Q_r向漢明空間進(jìn)行特征映射，得到視頻數(shù)據(jù)V_r的哈希特征集合以及集合Q_r的哈希特征集合b_ci為第i個視頻數(shù)據(jù)的哈希特征，i∈{1,…,n}，b_qj為第j個查詢語句的哈希特征，j∈{1,…,m}，m為集合Q_r中查詢語句的總個數(shù)；

g)通過公式計算得到漢明距離T為轉(zhuǎn)置，L為哈希碼長度，⊙點乘計算，通過漢明距離度量哈希特征集合和得到語義相似性結(jié)果。

2.根據(jù)權(quán)利要求1所述的基于跨模態(tài)哈希學(xué)習(xí)的視頻解析方法，其特征在于：步驟a)中以16幀為最小單元對第k條視頻數(shù)據(jù)V_k進(jìn)行單元分割。

3.根據(jù)權(quán)利要求1所述的基于跨模態(tài)哈希學(xué)習(xí)的視頻解析方法，其特征在于：每次雙向時序卷積操作時增加填充信息，通過公式pⁱ＝(ε-1)p^i-1計算第i層的填充個數(shù)pⁱ。

4.根據(jù)權(quán)利要求1所述的基于跨模態(tài)哈希學(xué)習(xí)的視頻解析方法，其特征在于：步驟e)中通過公式計算全連接神經(jīng)網(wǎng)絡(luò)的損失函數(shù)Γ₁，式中為弗羅尼烏斯范數(shù)，T為轉(zhuǎn)置，Y為多模態(tài)特征設(shè)置的統(tǒng)一維度。

5.根據(jù)權(quán)利要求4所述的基于跨模態(tài)哈希學(xué)習(xí)的視頻解析方法，其特征在于：步驟e)中通過公式計算得到轉(zhuǎn)換成二值特征集合通過公式計算得到轉(zhuǎn)換成二值特征集合式中sgn(·)為符號函數(shù)，通過公式計算損失函數(shù)Γ₂，利用公式Γ＝Γ₁+λΓ₂計算得到損失函數(shù)Γ，λ為超參，，通過損失函數(shù)Γ訓(xùn)練跨模態(tài)哈希網(wǎng)絡(luò)模型，利用adam optimizer函數(shù)求解出跨模態(tài)哈希網(wǎng)絡(luò)模型的全部參數(shù)。