[發明專利]一種分布式智能網聯汽車數據處理系統架構

在審

• 申請號: 202310321850.0
• 申請日: 2023-03-29
• 公開（公告）號: CN116483830A
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 楊雄基;孫超;李德海;徐亮;胡靜;趙貴權
• 申請（專利權）人: 深圳市未來智能網聯交通系統產業創新中心
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/27;G06F16/2455;G06F16/28;G06F16/2458
• 代理公司: 北京科領智誠知識產權代理事務所(普通合伙) 11782
• 代理人: 呂夢雪

本發明公開了一種分布式智能網聯汽車數據處理系統架構，本發明涉及智能網聯汽車領域，包括：消息隊列單元，用于從數據網關單元中收集智能網聯汽車數據，并在內部進行分區緩存；數據匯集和傳輸單元，用于從消息隊列單元中讀取智能網聯汽車數據，并將其發送給分布式大數據存儲單元進行分布式存儲；離線計算服務單元，用于對從分布式大數據存儲單元中讀取的智能網聯汽車數據進行離線分析計算，并將離線分析計算結果保存到關系型數據庫管理單元；第一分布式實時計算服務單元，用于對從消息隊列單元中讀取的智能網聯汽車數據進行實時計算，并將實時計算處理結果保存到關系型數據庫管理單元。本申請能夠實現海量智能網聯汽車數據的處理和存儲。

技術領域

本發明涉及智能網聯汽車領域，具體而言，涉及一種分布式智能網聯汽車數據處理系統架構。

背景技術

隨著智能網聯汽車技術的普及，智能網聯汽車由于搭建了大量的傳感器，涌現了海量智能網聯汽車數據，為了對這些數據進行有效處理和存儲，需要搭建智能網聯汽車數據處理系統架構。

目前，主流的數據處理存儲系統架構主要有：傳統關系型數據庫管理系統(RDBMS)、NoSQL數據庫、數據倉庫等技術。

傳統關系型數據庫管理系統(RDBMS)是使用SQL(StructuredQuery?Language)作為查詢語言，采用關系模型進行數據建模和管理。具有數據結構清晰、穩定可靠等優點，適用于大多數場景的應用，但難以處理大規模、高速、復雜的非結構化數據；

NoSQL數據庫：不同于傳統的RDBMS，NoSQL數據庫采用非關系型模型，包括文檔型、鍵值型、列族型、圖形型等。其優點是高度可擴展、高性能、支持海量數據存儲和處理，但由于數據結構不統一，在實際應用中往往會導致數據冗余和難以維護；

數據倉庫：專門用于存儲大規模的數據，支持數據分析和決策。其優點是能夠整合多個數據源，提供標準化和統一化的數據視圖，支持復雜的數據分析和挖掘，但數據更新不夠實時，不適合需要實時數據的應用場景，另外由于數據沒有經過處理和清洗生成數據冗余大，也會造成數據存儲使用成本過高。

然而，智能網聯汽車數據具有大規模、高速率、多樣性和實時性等特點，其數據處理與存儲面臨著數據量大、計算復雜、存儲高效和安全可靠等困難，以上幾種數據處理存儲系統架構由于其自身的特點，都無法單獨適應智能網聯汽車數據的應用的場景。

另一方面，基于海量的智能網聯汽車數據，其數據的處理、存儲、使用成本都非常高，如何進行有效治理，以最低的成本挖掘數據的價值也是當前業界面臨重點難題。

發明內容

本發明提供一種分布式智能網聯汽車數據處理系統架構，主要在于通過采用分布式數據處理和存儲系統架構，能夠實現海量智能網聯汽車數據的處理和存儲。

根據本發明實施例的第一方面，提供一種分布式智能網聯汽車數據處理系統架構，包括：數據網關單元、消息列隊單元、數據匯集和傳輸單元、分布式大數據存儲單元、離線計算服務單元、關系型數據庫管理單元和第一分布式實時計算服務單元；

所述消息隊列單元，用于從所述數據網關單元中收集智能網聯汽車數據，并在內部進行分區緩存；

所述數據匯集和傳輸單元，用于從所述消息隊列單元中讀取存儲的智能網聯汽車數據，并將從所述消息隊列單元中讀取的智能網聯汽車數據發送給所述分布式大數據存儲單元進行分布式存儲；

所述離線計算服務單元，用于從所述分布式大數據存儲單元中讀取存儲的智能網聯汽車數據；對從所述分布式大數據存儲單元中讀取的智能網聯汽車數據，結合大數據分析與機器學習AI技術進行離線分析計算，并將離線分析計算結果保存到所述關系型數據庫管理單元；

所述第一分布式實時計算服務單元，用于從所述消息隊列單元中讀取存儲的智能網聯汽車數據；對從所述消息隊列單元中讀取的智能網聯汽車數據進行實時計算，并將實時計算處理結果保存到所述關系型數據庫管理單元。