[發明專利]基于單幀和連續多幀抽樣并行的視頻搜索方法

有效

• 申請號: 202010713098.0
• 申請日: 2020-07-22
• 公開（公告）號: CN111813996B
• 公開（公告）日: 2022-03-01
• 發明（設計）人: 梁敏
• 申請（專利權）人: 四川長虹電器股份有限公司
• 主分類號: G06F16/783
• 分類號: G06F16/783;G06N3/04
• 代理公司: 四川省成都市天策商標專利事務所(有限合伙) 51213
• 代理人: 陳藝文

1.一種基于單幀和連續多幀抽樣并行的視頻搜索方法，其特征在于，包括：

訓練多路神經網絡；

將待搜索視頻按時序分堆處理為多個視頻堆，對每個視頻堆的幀隨機連續采樣得到若干幀，得到堆采樣視頻數據集，再對每個視頻堆分別進行隨機圖像幀采樣，每個視頻堆隨機采樣獲取一個單幀，得到單幀采樣視頻數據集；

將所述堆采樣視頻數據集和單幀采樣視頻數據集分別輸入到所述多路神經網絡中進行堆采樣特征向量的獲取以及單幀采樣特征向量的獲取，并利用該多路神經網絡將提取的圖像特征向量抽取得到最終的視頻特征進行視頻搜索；

訓練多路神經網絡具體包括以下步驟：

數據的隨機采樣，按間隔將數據分為多堆進行數據采樣，將基于單幀和連續多幀抽樣取樣的數據放到接下來每一路神經網絡之中進行特征向量提取；

將每一堆數據都放入一路神經網絡之中，訓練提取特征的卷積層，一路神經網絡有多個由殘差模塊組成的卷積層，最終將由卷積層提取出一定的相應特征；

對于每一路神經網絡，最后將接入一個全連接層，對于輸入的特征圖進行一定程度地分類，最后得出該視頻在各種類上的得分；

對于每一路上相關神經網絡得分，對于它們求和，再平均，得出最后的一個得分類別，當最高得分比其他類別高0.1以上時，將該類別作為當前類別，當最高得分與次高得分差別不及0.1的時候，將原模型類別設定為最高和次高類別，重新進行訓練，此后，選定最后得出的類別作為該類別；

對于判定出類別的整個模型，判斷正確記為0，錯誤記為1；以此作為損失函數進行整個模型的判定。

2.根據權利要求1所述的基于單幀和連續多幀抽樣并行的視頻搜索方法，其特征在于，還包括對多路神經網絡進行驗證，具體包括以下步驟：

對于作為驗證的視頻，將其分成多堆，將每堆視頻放進一路神經網絡之中；

將每堆視頻對應得到的分類得分進行總的平均，最終平均多路的結果，最終得出來分類結果最高的類別，直接作為視頻最終的分類結果；

將視頻下該類別與之特征圖最為相似的結果，選擇該視頻作為視頻搜索的結果。

3.根據權利要求1所述的基于單幀和連續多幀抽樣并行的視頻搜索方法，其特征在于，在堆采樣特征向量獲取中，多路神經網絡采用二值法對每個幀提取特征向量，具體包括：

首先將檢測窗口劃分為多個小區域；

對于每個小區域的像素，將相鄰的8個像素的灰度值與其進行比較，若周圍像素值大于中心像素值，則該像素點的位置被標記為1，否則為0；得到該窗口中心像素點的數據；

計算每個小區域的直方圖，即每個數字出現的頻率；

將每個小區域的直方圖統計后生成一個特征向量，也就是整幅圖的特征向量；

獲取每個堆的連續多幀特征向量，即為堆采樣特征向量。

4.根據權利要求1所述的基于單幀和連續多幀抽樣并行的視頻搜索方法，其特征在于，多路神經網絡將提取的圖像特征向量抽取得到最終的視頻特征具體包括：

在連續多幀數據處理時，對多個特征向量的數據進行網絡訓練，對特征向量進行特征降維，壓縮數據和參數的數量；把圖像單堆的特征向量轉化為線性矩陣，采用多路神經網絡進行訓練，通過線性變換將高維空間中的樣本數據投影到低維空間中，丟棄某些特征，統合每一個堆特征數據的抽取特征，再對提取的特征值全連接進行最終的分類確認。