[發明專利]基于車聯網的數據分析平臺和方法

在審

• 申請號: 201710698950.X
• 申請日: 2017-08-15
• 公開（公告）號: CN107704487A
• 公開（公告）日: 2018-02-16
• 發明（設計）人: 鄭楠;尹穎;張友煥;馮鵬
• 申請（專利權）人: 北京新能源汽車股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙)11201
• 代理人: 張潤

1.一種基于車聯網的數據分析平臺，其特征在于，包括依次連接的數據來源層、數據存儲層、數據計算分析層和交互界面；

其中，所述數據來源層，包括車聯網數據池的通信接口和/或存儲車輛相關信息的關系型數據庫的通信接口，用于通過所述通信接口抽取所需數據；

所述數據存儲層，用于對抽取到的數據進行存儲；

所述數據計算分析層，基于分布式架構，用于根據任務，調度所需分析資源讀取并處理所述數據存儲層中存儲的數據，得到分析結果；

所述數據存儲層，還用于存儲所述分析結果；

所述交互界面，用于展示所述分析結果。

2.根據權利要求1所述的基于車聯網的數據分析平臺，其特征在于，所述數據計算分析層基于Spark云計算架構和/或基于MapReduce計算架構；所述數據計算分析層，包括：

YARN模塊，用于調度各任務所占用的分析資源；

Azkaban模塊，用于調度各任務的執行順序。

3.根據權利要求1所述的基于車聯網的數據分析平臺，其特征在于，所述數據存儲層，包括：HIVE數據倉庫和HBase分布式存儲架構；

所述HBase分布式存儲架構，用于以列存儲格式存儲數據，以及用于將列存儲格式轉化為表格式存儲格式；

所述HIVE數據倉庫，用于存儲轉化后的表格式存儲格式的數據，以及用于存儲所述分析結果。

4.根據權利要求3所述的基于車聯網的數據分析平臺，其特征在于，所述HBase分布式存儲架構包括用于存儲的HBase模塊，以及用于對需存儲的數據進行管理的HDFS模塊。

5.根據權利要求4所述的基于車聯網的數據分析平臺，其特征在于，

所述數據計算分析層中的YARN模塊，具體用于當所述HDFS模塊獲取到需存儲的數據之后，根據各任務所需處理的數據量，調度各任務所占用的分析資源。

6.根據權利要求5所述的基于車聯網的數據分析平臺，其特征在于，

所述數據計算分析層中的YARN模塊，還具體用于將各任務所需處理的數據提供至所述HBase模塊進行存儲。

7.根據權利要求1所述的基于車聯網的數據分析平臺，其特征在于，所述數據來源層，包括：DataX組件；

所述DataX組件，用于通過所述車聯網數據池的通信接口抽取數據。

8.根據權利要求1所述的基于車聯網的數據分析平臺，其特征在于，所述數據來源層，包括：Sqoop組件；

所述Sqoop組件，用于通過所述存儲車輛相關信息的關系型數據庫的通信接口抽取數據。

9.根據權利要求1-6任一項所述的基于車聯網的數據分析平臺，其特征在于，所述交互界面，還用于獲取用戶以拖拽方式，設定的執行邏輯，根據所述執行邏輯生成所述任務；

所述數據來源層，具體用于根據所述任務，通過所述通信接口抽取所需數據。

10.根據權利要求9所述的基于車聯網的數據分析平臺，其特征在于，所述交互界面為Web界面。

11.一種基于車聯網的數據分析方法，其特征在于，包括以下步驟：

數據來源層通過車聯網數據池的通信接口和/或存儲車輛相關信息的關系型數據庫的通信接口抽取所需數據；

數據存儲層對抽取到的數據進行存儲；

數據計算分析層根據任務，調度分布式架構中所需分析資源讀取并處理所述數據存儲層中存儲的數據，得到分析結果；

數據存儲層存儲所述分析結果，并由交互界面展示所述分析結果。

12.根據權利要求11所述的基于車聯網的數據分析方法，其特征在于，所述數據計算分析層基于Spark云計算架構和/或基于MapReduce計算架構；所述數據計算分析層根據任務，調度分布式架構中所需分析資源讀取并處理所述數據存儲層中存儲的數據，包括：

所述數據計算分析層的YARN模塊度各任務所占用的分析資源；

和/或，所述數據計算分析層的Azkaban模塊調度各任務的執行順序。