[發明專利]一種基于深度學習的視頻車輛大數據搜索方法

在審

• 申請號: 201910322235.5
• 申請日: 2019-04-22
• 公開（公告）號: CN110096982A
• 公開（公告）日: 2019-08-06
• 發明（設計）人: 張斯堯;謝喜林;王思遠;黃晉;蔣杰;張誠
• 申請（專利權）人: 長沙千視通智能科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/46
• 代理公司: 長沙德恒三權知識產權代理事務所(普通合伙) 43229
• 代理人: 徐仰貴

1.一種基于深度學習的視頻車輛大數據搜索方法，其特征在于，包括以下步驟：

S1、基于MLbase機器學習庫搭建Spark大數據平臺；

S2、在上述搭建的平臺上接入視頻圖像，將視頻關鍵幀分段，然后基于深度學習算法對目標圖像進行車輛的結構化檢測，提取特征信息并存儲于數據庫中，以獲得具備大數據車輛信息的數據庫；

S3、基于SOBS算法對目標車輛進行檢測并提取特征，對目標車輛特征與數據庫中所有車輛特征信息進行相似度計算與比對，得出相似度；

S4、排序并搜索出最相似的車輛信息與車輛圖像。

2.如權利要求1所述的一種基于深度學習的視頻車輛大數據搜索方法，其特征在于，所述步驟S2具體包括：

S2.1、首先將實時視頻或者錄像文件傳入Spark大數據平臺中，然后將視頻圖像數據經過Map方法，自動切分為視頻片段，并接入視頻圖像的深度學習算法進行處理，處理結果傳遞到Reduce方法進行自動匯聚，數據存儲；

S2.2、利用ResNet網絡對步驟S2.1處理后的圖像進行卷積池化操作，生成特征映射圖，并利用區域建議網絡對生成的特征映射圖進行全圖的前后景目標搜索和篩選，同時調整算法中對輸入圖片動態長寬比的實際需求模型參數，然后通過深度學習特征提取出特征向量并存儲。

3.如權利要求2所述的一種基于深度學習的視頻車輛大數據搜索方法，其特征在于，所述步驟S2.1中，切分為視頻片段的步驟如下：

根據視頻文件中不同幀數據的不同，區分I幀、P幀數據，取出視頻的關鍵幀信息，作為視頻文件的分段關鍵點；

根據車輛出現和消失時間，得出分段的準確時間以及文件位置，作為視頻分段點；

當視頻分段點為分段關鍵點時，進行分段。

4.如權利要求3所述的一種基于深度學習的視頻車輛大數據搜索方法，其特征在于，所述步驟S2.2中通過深度學習特征提取出特征向量并存儲包括：

利用卷積操作在整幅圖像上生成網格狀的多個位置敏感分數圖，對每個位置敏感分數圖進行池化操作，將池化操作的上一層ResNet直接以特征向量的形式存儲在大數據系統的數據庫中，形成大數據模型，即實現特征信息的提取。

5.如權利要求4所述的一種基于深度學習的視頻車輛大數據搜索方法，其特征在于，所述步驟S2.2中，每個位置敏感分數圖有C個通道輸出，代表C-1類物體外加一個背景，對于一個w×h大小的候選目標框，由目標框RPN網絡獲得，將目標框劃分為k×k個子區域，則每個子區域為w×h/k²大小，對于任意一個子區域bin(i,j),0≤i,j≤k-1，定義一個位置敏感池化操作，具體公式為：

其中，r_c(i,j|Θ)是子區域bin(i,j)對C個類別的池化響應，z_i,j,c是子區域bin(i,j)所對應的位置敏感分數圖，(x₀,y₀)代表目標候選框左上角的坐標，n是子區域bin(i,j)中的像素數，Θ代表網絡的所有學習得到的參數。