[發明專利]一種用于汽車物流的大數據分析平臺

在審

• 申請號: 202111179752.5
• 申請日: 2021-10-11
• 公開（公告）號: CN113886465A
• 公開（公告）日: 2022-01-04
• 發明（設計）人: 楊斌;廖家華;卿志恒
• 申請（專利權）人: 重慶長安民生物流股份有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/27;G06Q10/08
• 代理公司: 重慶智慧之源知識產權代理事務所(普通合伙) 50234
• 代理人: 余洪

1.一種用于汽車物流的大數據分析平臺，其特征在于，包括：

數據集成層、實時流處理層、分布式數據倉庫層、數據服務層、業務應用層和數據運營管控層；

所述數據集成層與外部數據庫和業務系統連接，用于采集數據信息；

所述實時流處理層與所述數據集成層連接，用于對數據信息進行處理；

所述分布式數據倉庫層與所述數據集成層和實時流處理層連接，用于對數據信息進行分布式處理和數據存儲，并統一資源調度；

所述數據服務層與所述實時流處理層和分布式數據倉庫層連接，用于對處理后的數據信息進行存儲或供前端應用；

所述業務應用層用于對處理后的數據信息進行展示；

所述數據運營管控層分別與所述數據集成層、分布式數據倉庫層、數據服務層及業務應用層連接，用于進行作業調度、應用部署、數據質量監控和系統日志管理。

2.根據權利要求1所述的一種用于汽車物流的大數據分析平臺，其特征在于，所述數據集成層包括oracle中間庫、hive庫、kafka消息隊列、sqoop組件和logstash日志組件；所述oracle中間庫與所述業務系統連接，通過實時同步工具將業務數據同步到所述kafka消息隊列中，通過所述sqoop組件向所述hive庫中定時采集所述業務數據；所述logstash日志組件用于生成消息日志。

3.根據權利要求1所述的一種用于汽車物流的大數據分析平臺，其特征在于，所述實時流處理層包括有spark streaming框架和stream sets工具；所述spark streaming框架用于構建所述數據信息的框架；所述stream sets工具用于對所述數據信息進行加工處理。

4.根據權利要求1所述的一種用于汽車物流的大數據分析平臺，其特征在于，所述分布式數據倉庫層包括有：ODS操作數據層、DW明細倉庫層、DMK指標層、DMR應用層和DIM維度層；

所述ODS操作數據層與所述DW明細倉庫層連接，用于根據數據信息建立目標表、STG表和HIS表，將非結構化數據轉換為結構化數據，并進行存儲；

所述DW明細倉庫層與所述DMK指標層連接，用于按照分析主題設計數據模型，并對數據信息進行清洗加工，獲取明細數據；

所述DMK指標層與所述DMR應用層連接，用于根據前端報表需求進行數據的匯總分析，根據模型需求形成業務指標數據，并進行主題數據的挖掘；

所述DIM維度層分別與所述ODS操作數據層、DW明細倉庫層、DMK指標層和DMR應用層連接，用于存放維度數據。

5.根據權利要求4所述的一種用于汽車物流的大數據分析平臺，其特征在于，所述分布式倉庫層具體包括：批處理引擎、SQL引擎、資源調度管理模塊、數據安全控制模塊、分布式文件系統和分布式關系數據存儲模塊；

所述批處理引擎用于對數據信息進行分布式處理；

所述SQL查詢引擎用于對數據信息進行查詢；

所述資源調度管理模塊用于調度集群調度；

所述數據安全控制模塊用于進行細粒度權限的控制；

所述分布式文件系統和分布式關系數據存儲模塊用于存儲加工后的數據信息。

6.根據權利要求5所述的一種用于汽車物流的大數據分析平臺，其特征在于，所述批處理引擎包括有MapReduce引擎和Spark引擎；所述SQL查詢引擎包括有Hive引擎、Impala引擎和Presto引擎；所述資源調度管理模塊為YARN資源調度管理器；所述數據安全控制模塊為Sentry監控工具；所述分布式文件系統為HDFS分布式文件系統；所述分布式關系數據存儲為KUDU存儲引擎。

7.根據權利要求1所述的一種用于汽車物流的大數據分析平臺，其特征在于，所述數據服務層包括有主題分析模型、預警模型、自助取數模塊、搜索引擎模塊、機器學習模塊和Oracle數據庫；所述主題分析模塊用于根據處理后的數據信息進行主題分析；所述預警模塊用于對運營狀況進行預警；所述自助取數模塊用于自動獲取數據信息；所述搜索引擎模塊用于根據檢索關鍵字獲取數據信息；所述Oracle數據庫用于存儲數據信息，供前端調用。