[發明專利]一種基于大數據的采集數據實時存儲與管理系統和方法

在審

• 申請號: 202010900066.1
• 申請日: 2020-08-31
• 公開（公告）號: CN112084190A
• 公開（公告）日: 2020-12-15
• 發明（設計）人: 程德心;周風明;郝江波;周昭暉
• 申請（專利權）人: 武漢光庭信息技術股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/242;G06F16/25;G06F16/27;G06F16/28;G06F16/182
• 代理公司: 武漢藍寶石專利代理事務所(特殊普通合伙) 42242
• 代理人: 廉海濤

本發明實施例提供一種基于大數據的采集數據實時存儲與管理系統和方法，通過大數據框架的每個模塊對實時上傳的采集數據進行存儲和整理，使得不同格式的數據分類保存，對海量采集數據進行實時存儲與自動分類，實時上傳保存提高存儲效率，相比于使用人工硬盤數據匯總、分析、分類、再保存提升了效率，降低了行業成本，并且方便于后續的數據利用，也便于管理人員維護，避免使用大量硬盤存儲，不易出現類似于數據硬盤的數據丟失情況；方便研究時調用所需數據，減少了人工成本和硬件成本率。

技術領域

本發明實施例涉及大數據處理技術領域，尤其涉及一種基于大數據的采集數據實時存儲與管理系統和方法。

背景技術

自動駕駛汽車，是一種通過電腦系統實現無人駕駛的智能汽車。自動駕駛汽車依靠人工智能、視覺計算、雷達、監控裝置和全球定位系統協同合作，讓電腦可以在沒有任何人類主動的操作下，自動安全地操作機動車輛。

采集數據作為訓練自動駕駛的重要數據來源之一，更是高精度地圖、道路分析、駕駛行為決策分析不可或缺的數據，如何對這些數據進行統一管理和高效存儲是自動駕駛領域的重要研究課題。

中國復雜的道路情況以及車輛行駛情況，反饋至研究中必然是海量數據，從傳感器(如攝像頭、激光雷達、毫米波雷達等)到研究人員可使用的數據中間，必然需要一個存儲、管理和讀取的過程，傳統的數據進行采集后采取數據硬盤或者小型數據庫進行存儲，每次采集更新都需要人工維護或者分類匯總，隨著采集設備的增多，人工維護成本也大幅提高，不利于海量數據的存儲與管理。隨著自動駕駛等級的提高，采集數據同樣也會迎來數量級的調高，這時采取傳統方法進行數據存儲除了需要投入更高的人工成本，也需要大量的硬件設備去支持。

發明內容

本發明實施例提供一種基于大數據的采集數據實時存儲與管理系統和方法，用以解決現有技術中隨著采集數據同樣也會迎來數量級的調高，導致數據存儲除了需要投入更高的人工成本，也需要大量的硬件設備去支持的問題。

第一方面，本發明實施例提供一種基于大數據的采集數據實時存儲與管理系統，包括分布式系統架構Hadoop，所述分布式系統架構Hadoop包括分布式列存儲數據庫HBase、分布式文件系統HDFS和編程模型MapReduce；

所述分布式列存儲數據庫HBase用于接收數據接口上傳的采集數據，并對采集數據隨機、實時的訪問，并將采集數據中大小超過設定閾值的大數據文件寫入所述分布式文件系統HDFS中；

所述分布式文件系統HDFS用于進行文件管理、文件存儲和文件獲取；

所述編程模型MapReduce用于對采集數據進行篩選運算和處理，以對不同格式數據進行分類存儲，建立SQL查詢，并在Reduce結果匯總后導入分布式列存儲數據庫HBase。

進一步，所述分布式列存儲數據庫HBase還用于：

將所述大數據文件在所述分布式文件系統HDFS中的位置作為索引，將所述分布式列存儲數據庫HBase中的大數據文件的內容替換為所述索引。

進一步，還包括大規模數據分析平臺Pig，所述大規模數據分析平臺Pig用于讀取分布式系統架構Hadoop配置文件獲取Namenode和JobTracker進程所在的機器，根據數據集大小被轉換為一系列MapReduce作業運行在分布式系統架構Hadoop，基于面向數據流的類SQL的PigLatin語言進行對分布式系統架構Hadoop中的大數據進行加載、合并、過濾、排序、分組、關聯及對數據集使用函數功能。

進一步，還包括數據倉庫工具Hive，所述數據倉庫工具Hive用于建立完整的結構化查詢語言SQL查詢，將SQL語句轉換為MapReduce任務進行，最后進行Reduce結果匯總。