[發明專利]一種基于深度學習的視頻GIS數據檢索方法

在審

• 申請號: 201810162847.8
• 申請日: 2018-02-26
• 公開（公告）號: CN108280233A
• 公開（公告）日: 2018-07-13
• 發明（設計）人: 鄒志強;戴海宏;吳家皋;何旭;熊俊杰;索玉聰
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06N3/04;G06N3/08
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 楊曉玲

本發明公開了一種基于深度學習的視頻GIS數據檢索方法，包括：首先在對視頻GIS數據進行空間和時間采樣下，計算視頻GIS幀幀差的歐式距離，并對視頻鏡頭進行關鍵幀提取；然后建立由卷積層、激活層和池化層交替構成的深度卷積神經網絡模型，對輸入的視頻GIS幀圖像進行層層映射，實現視頻GIS幀圖像的深度特征表示；最后進行分層檢索：第一層是用哈希方法和漢明距離進行粗檢索；第二層把第一層粗檢索的結果進行過濾，實現從候選池中視頻GIS幀圖像的前m個精檢索。本發明采用幀差歐式距離來提取關鍵幀，使得檢索的效率大大地提高，并采用深度卷積神經網絡模型進行訓練，提取更高層次的特征表示，使得檢索時間和存儲開銷大幅度減少。

技術領域

本發明涉及一種基于深度學習的視頻GIS(Geographic Information System，地理信息系統)數據檢索方法，屬于計算機視覺技術領域。

背景技術

視頻GIS是地理視頻與GIS融合產生的一種新視頻，該視頻的檢索給政府管理和人民生活帶來了巨大的便利。隨著應用廣度和深度的持續增強，視頻GIS相關產業已經成為新的產業增長點。同時，隨著智慧城市建設的發展和城市安防要求的提高，如何從視頻GIS大數據中準確發現和獲取用戶所需的數據面臨一系列瓶頸問題。一方面我們已經積累了巨量視頻GIS數據，并且還在繼續投巨資生產數據，另一方面，大量視頻GIS數據受制于龐大的體量和缺乏有效的分析，限制了其應用的廣度和深度。因此，對這些數據加以分析利用便成為關鍵，如何從這些視頻GIS數據中快速有效的檢索出自己所需要的數據成為了最近研究的熱點。

傳統的視頻檢索方式是基于文本關鍵詞的視頻檢索和基于內容的視頻檢索(Content-Based Video Retrieval，CBVR)。由于描述能力有限、主觀性強和工作量大等原因，基于文本關鍵詞的視頻檢索對于上述典型應用無能為力，不能滿足視頻GIS數據深度檢索的需求?；趦热莸囊曨l檢索(CBVR)就是根據用戶輸入的內容(圖像等)，在視頻數據庫中檢索到與之相同或相似的視頻片段或關鍵幀的過程。在基于內容的視頻檢索中，檢索的對象往往不再局限于視頻數據的本身，而是基于視頻“內容”描述的數據，例如顏色特征和紋理特征。

視頻檢索一般分為視頻預處理、特征提取兩個步驟。視頻預處理最為關鍵的是關鍵幀的提取。關鍵幀是描述一個視頻鏡頭的關鍵內容的圖像特征，從關鍵幀中可以提取顏色、紋理、形狀等底層特征，以作為視頻摘要和數據庫索引的數據源。若提取視頻的每一幀，數據量龐大，而且存在重復和冗余的視頻幀，因此關鍵幀的提取對建立視頻索引是非常重要的。

在特征提取方面，傳統的視頻檢索特征提取算法(顏色特征、紋理特征和形狀特征等)對特征的描繪需要很高的領域知識，而深度學習模擬人類大腦的結構，利用卷積神經網絡的卷積層、池化層和全連接層等基本結構，就可以讓網絡結構自己學習和提取相關特征。因此，采用深度學習提取特征能夠對視頻GIS圖像有更加精準的描繪程度，使得視頻GIS數據檢索的范圍大大縮小，從而達到準確且快速的檢索目的。

現有技術中為了高效的表示視頻特征數據，可以采用實數特征表示的方法或者二值哈希編碼表示的方法?；趯崝堤卣鞅硎镜姆椒ㄊ侵笇⒁曨l幀圖像提取的實數特征向量作為表示，但是由于這種表示方法在檢索時相當的耗時以及占存儲空間，不能滿足大規模的視頻GIS數據檢索的需求；基于二值哈希編碼表示的方法是將視頻幀圖像用二值編碼向量來編碼表示，相較于采用實數特征表示的方法，在相同長度的表示下，存儲空間大幅度減少。例如，在原始空間中，如果一個視頻特征向量占1024個字節，那么一億個視頻特征就需要100G的存儲空間，而如果每個視頻特征用128比特的哈希編碼表示的話，所有視頻哈希的存儲空間只需要1.6G。同時，相似的視頻幀圖像具有相似的二值碼，然后使用漢明距離度量二值碼之間的相似性，速度相當之快。

發明內容

發明目的：為了克服現有技術中存在的不足，本發明提供一種基于深度學習的視頻GIS數據檢索方法，以解決視頻GIS數據檢索中難以獲得精準的檢索結果、存儲空間消耗大、檢索速度慢的問題。