[發明專利]基于改進的VLAD算法的視頻分類方法

有效

• 申請號: 202011612490.2
• 申請日: 2020-12-30
• 公開（公告）號: CN113269218B
• 公開（公告）日: 2023-06-09
• 發明（設計）人: 袁嘉杰
• 申請（專利權）人: 威創集團股份有限公司
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/762;G06V10/77;G06V10/82;G06N3/082
• 代理公司: 廣州潤禾知識產權代理事務所(普通合伙) 44446
• 代理人: 林偉斌

1.一種基于改進的VLAD算法的視頻分類方法，其特征在于，所述算法包括：

去除深度殘差網絡結構的基礎網絡的全連接層與最后一層池化層，以輸入視頻中的視頻幀至深度殘差網絡結構得到特征圖；對特征圖進行上采樣反卷積操作；輸入視頻中的視頻幀至深度殘差網絡結構得到特征圖的特征格式為H×W×C×N；

訓練NetVLAD網絡結構，以使特征圖輸入NetVLAD網絡結構以一段時間內的視頻幀為目標進行局部聚合特征，得到局部特征向量和聚類中心區域；根據局部特征向量通過卷積操作得到軟分配權重，將局部特征向量劃分至相應對聚類中心區域，以計算局部特征描述子與聚類中心區域對的殘差分布；

構建聚合特征矩陣；其中的構建聚合特征矩陣的過程包括：

對視頻幀生成的特征圖進行卷積操作得到軟分配權重，輸出預設數量的權重信息；根據權重信息構建聚合特征矩陣；其中，根據權重信息構建聚合特征矩陣具體包括：通過損失函數處理所述權重信息，輸出與權重信息數量相同個數的軟分配權重，對其進行殘差加權與殘差求和的處理，構建聚合特征矩陣；

根據對特征圖進行非局部描述特征處理，獲得非局部相關區域，具體包括：對特征圖進行三次的卷積操作，輸出三個壓縮特征圖；所述壓縮特征圖包括第一壓縮特征圖、第二壓縮特征圖和第三壓縮特征圖，其中，第一壓縮特征圖的特征格式為H×W×(N×C/2)，第二壓縮特征圖的特征格式為(N×C/2)×(H×W)，第三壓縮特征圖為H×W×(N×C/2)；以任一個壓縮特征圖的任一特征向量為乘數、另一壓縮特征圖的任一特征向量為乘數地兩兩矩陣相乘，得到關聯強度矩陣；將關聯強度矩陣輸入損失函數后與第三壓縮特征圖進行矩陣相乘，輸出特征圖的非局部相關區域；

將軟分配權重和非局部相關區域進行點乘，得到聚類區域相關區域；

將聚類區域相關區域進行卷積操作降維壓縮成聚類區域的非局部相關區域,將聚類區域的非局部相關區域串行拼接在聚合特征矩陣中得到最終特征向量；

預建立最終特征向量與視頻種類的映射集；

根據最終特征向量確定輸入的視頻的視頻種類。

2.根據權利要求1所述的基于改進的VLAD算法的視頻分類方法，其特征在于，所述構建聚合特征矩陣的過程具體包括：

對根據視頻幀生成的特征圖進行卷積操作得到軟分配權重，輸出(K+G)個權重信息；對每個權重信息各自求和后將其中最小的G個權重信息去除，根據剩余的K個權重信息構建聚合特征矩陣；其中，根據剩余的K個權重信息構建聚合特征矩陣具體包括：通過損失函數處理所述剩余的K個權重信息，輸出K個軟分配權重，對其進行殘差加權與殘差求和的處理，構建聚合特征矩陣。

3.根據權利要求2所述的基于改進的VLAD算法的視頻分類方法，其特征在于，根據剩余的K個權重信息構建聚合特征矩陣具體還包括歸一化處理，具體如下：

通過損失函數處理所述剩余的K個權重信息，輸出K個軟分配權重，對其進行殘差加權與殘差求和的處理后進行歸一化處理，構建聚合特征矩陣。

4.根據權利要求1所述的基于改進的VLAD算法的視頻分類方法，其特征在于，

所述深度殘差網絡結構為ResNet101深度殘差網絡。

5.根據權利要求1所述的基于改進的VLAD算法的視頻分類方法，其特征在于，

所述損失函數為Softmax函數。