[發明專利]基于改進的VLAD算法的視頻分類方法

有效

• 申請號: 202011612490.2
• 申請日: 2020-12-30
• 公開（公告）號: CN113269218B
• 公開（公告）日: 2023-06-09
• 發明（設計）人: 袁嘉杰
• 申請（專利權）人: 威創集團股份有限公司
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/762;G06V10/77;G06V10/82;G06N3/082
• 代理公司: 廣州潤禾知識產權代理事務所(普通合伙) 44446
• 代理人: 林偉斌

本發明提供一種基于改進的VLAD算法的視頻分類方法，包括：根據對特征圖進行非局部描述特征處理，獲得非局部相關區域，具體包括：對特征圖進行三次的卷積操作，輸出三個壓縮特征圖；所述壓縮特征圖包括第一壓縮特征圖、第二壓縮特征圖和第三壓縮特征圖，其中，第一壓縮特征圖的特征格式為H×W×(N×C/2)，第二壓縮特征圖的特征格式為(N×C/2)×(H×W)，第三壓縮特征圖為H×W×(N×C/2)；以任一個壓縮特征圖的任一特征向量為乘數、另一壓縮特征圖的任一特征向量為乘數地兩兩矩陣相乘，得到關聯強度矩陣；將關聯強度矩陣輸入損失函數后與第三壓縮特征圖進行矩陣相乘，輸出特征圖的非局部相關區域，引入非局部相關區域使圖像特征有完善的表示。

技術領域

本發明涉及圖像視頻處理領域，更具體地，涉及一種基于改進的VLAD算法的視頻分類方法。

背景技術

一種優秀的特征編碼方法能夠應用于圖像、視頻分類或者目標檢索各個領域，其中VLAD(Vector?of?Locally?Aggregated?Descriptors)無論在傳統圖像處理，還是深度學習領域中，都有大量的研究學者進行專研與改進。NetVLAD是一個近年提出的應用于深度神經網絡的VLAD網絡結構，類似于池化層，將圖像特征進行編碼，壓縮成固定大小的局部特征向量以表達圖像整體信息，能夠插入到任何CNN模型中，與網絡模型一同訓練。但二者均存在著2點不足之處：1、應用于傳統圖像處理領域的VLAD算法，雖然能夠較好地針對圖像數據特征輸出局部聚合描述特征，但對圖像特征缺乏學習優化的過程，輸出特征與目標標簽出現誤差亦不能沿著誤差方向得到改善。2、應用于深度學習領域的改進VLAD算法，雖然解決了VLAD對圖像特征學習優化的問題，但是輸出的局部聚合特征一定程度上會出現信息丟失，對網絡模型識別造成影響。

發明內容

本發明旨在克服上述現有技術的至少一種缺陷(不足)，提供一種改進的VLAD算法，用于完善使用VLAD算法進行視頻分類的特征描述以減少誤差。

本發明采取的技術方案是：

一種基于改進的VLAD算法的視頻分類方法，去除深度殘差網絡結構的基礎網絡的全連接層與最后一層池化層，以輸入視頻中的視頻幀至深度殘差網絡結構得到特征圖；對特征圖進行上采樣反卷積操作；輸入視頻中的視頻幀至深度殘差網絡結構得到特征圖的特征格式為(H×W×C×N)；訓練NetVLAD網絡結構，以使特征圖輸入NetVLAD網絡結構以一段時間內的視頻幀為目標進行局部聚合特征，得到局部特征向量和聚類中心區域；根據局部特征向量通過卷積操作得到軟分配權重，將局部特征向量劃分至相應對聚類中心區域，以計算局部特征描述子與聚類中心區域對殘差分布；構建聚合特征矩陣；其中的構建聚合特征矩陣的過程包括：對根據視頻幀生成的特征圖進行卷積操作得到軟分配權重，輸出預設數量的權重信息；根據權重信息構建聚合特征矩陣；其中，根據權重信息構建聚合特征矩陣具體包括：通過損失函數處理所述權重信息，輸出與權重信息數量相同個數的軟分配權重，對其進行殘差加權與殘差求和的處理，構建聚合特征矩陣；根據對特征圖進行非局部描述特征處理，獲得非局部相關區域，具體包括：對特征圖進行三次的卷積操作，輸出三個壓縮特征圖；所述壓縮特征圖包括第一壓縮特征圖、第二壓縮特征圖和第三壓縮特征圖，其中，第一壓縮特征圖的特征格式為H×W×(N×C/2)，第二壓縮特征圖的特征格式為(N×C/2)×(H×W)，第三壓縮特征圖為H×W×(N×C/2)；以任一個壓縮特征圖的任一特征向量為乘數、另一壓縮特征圖的任一特征向量為乘數地兩兩矩陣相乘，得到關聯強度矩陣；將關聯強度矩陣輸入損失函數后與第三壓縮特征圖進行矩陣相乘，輸出特征圖的非局部相關區域；將軟分配權重和非局部相關區域進行點乘，得到聚類區域相關區域；將聚類區域相關區域進行卷積操作降維壓縮成聚類區域空間相關性，并將聚類區域空間相關性串行拼接在聚合特征矩陣中得到最終特征向量；預建立最終特征向量與視頻種類的映射集；根據最終特征向量確定輸入的視頻的視頻種類。