[發明專利]一種城市大腦智能大數據系統

在審

• 申請號: 202110173902.5
• 申請日: 2021-02-09
• 公開（公告）號: CN112527791A
• 公開（公告）日: 2021-03-19
• 發明（設計）人: 王琦;張立然;丁賢;王崟樂
• 申請（專利權）人: 中關村科學城城市大腦股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/242;G06F16/25;G06F16/2458;G06F16/28
• 代理公司: 北京勁創知識產權代理事務所(普通合伙) 11589
• 代理人: 王闖

1.一種城市大腦智能大數據系統，其特征在于，包括：

大數據分析模塊、AI算法模型模塊、大數據可視化模塊和大數據管理模塊；其中，所述大數據分析模塊用于數據進行數據整理、數據挖掘、多維分析和生成分析報告；所述AI算法模型模塊為數據倉庫中的分析過程提供算法支持，通過X-SQL語句算法，根據歷史SQL語句，自動生成新的業務場景下所需的SQL語句；大數據可視化模塊用于對經大數據分析模塊分析后的數據進行展示；所述大數據管理模塊用于提供大數據平臺管理功能。

2.根據權利要求1所述的城市大腦智能大數據系統，其特征在于，所述大數據分析模塊包括：

數據采集模塊，負責收集各種數據源的數據，包括各業務單元的數據，城市物聯網數據，并將這些數據轉換為文件或者消息向后傳遞；

數據清洗模塊，負責數據的清洗、格式和內容的處理和轉換、數據分級分揀、加載至數據倉庫；

數據倉庫模塊，用于數據有組織的進行集中存儲，負責數據的存取和管理；

元數據管理模塊，負責記錄和約束數據倉庫中數據的含義和格式，控制著數據的生命周期和數據質量；

作業流調度模塊，負責分析作業的管理和定時調度，包括作業的增刪改查、查看修改歷史、設置調度定時和執行引擎。

3.根據權利要求1所述的城市大腦智能大數據系統，其特征在于，所述大數據管理模塊包括：數據質量校驗模塊，運維監控模塊，身份認證模塊，數據權限管理模塊，應用管理模塊；

所述數據質量校驗模塊，用于通過制定數據評測標準對數據進行檢測，評估數據的質量問題；

所述運維監控模塊，用于實時監控大數據平臺所有組件的運行狀況以及系統資源占用情況；

所述身份認證模塊，用于提供城市各部門以及企業賬戶的統一管理，實現嚴格的權限控制；

所述數據權限管理模塊，用于為大數據平臺數據劃分權限等級，指定數據所有者、使用者，提供嚴格的權限控制；

所述應用管理模塊，用于對大數據平臺中各個組件應用進行統一管理，提高管理效率。

4.根據權利要求2所述的城市大腦智能大數據系統，其特征在于，所述數據采集模塊接入結構化、半結構化以及非結構化不同類別數據，物聯網數據通過程序定時請求接口獲取數據并存儲到數據庫中；城市各部門的非結構化文件分批次分類型存放到hdfs文件系統中。

5.根據權利要求2所述的城市大腦智能大數據系統，其特征在于，所述數據清洗模塊通過Kettle組件對各類數據進行初步清洗，將數據清洗成符合格式要求的數據，同時清除臟數據，保證數據分析的正確性。

6.根據權利要求2所述的城市大腦智能大數據系統，其特征在于，所述數據倉庫模塊分為4層，分別為原始數據層、明細數據層、匯總數據層、應用數據層；各層分析所需的SQL語句語句由AI算法模型模塊自動產生，這些語句完成數據倉庫的分析工作，之后SQL語句再經過反復驗證更新達到符合要求的準確度，最終完成大數據分析。

7.根據權利要求2所述的城市大腦智能大數據系統，其特征在于，所述作業流調度模塊由Azkaban組件完成，可實現可視化的任務流調度、管理、以及報警功能。

8.根據權利要求3所述的城市大腦智能大數據系統，其特征在于，所述應用管理模塊采用自研的大數據管理平臺，能夠實現對Hadoop、Kafka基礎大數據平臺組件的管理；所述數據質量校驗模塊通過griffin組件制定數據評測標準，并設置監測周期，可以實現周期性的檢驗數據的規范性，并提供直觀的折線圖進行展示；所述運維監控模塊使用普羅米修斯組件，可以實時監控大數據平臺的運行狀況以及系統資源占用情況，并且提供多種風格的儀表盤展示方式，為大數據平臺健康運行提供保障；身份認證模塊提供城市各部門以及企業賬戶的統一管理，實現嚴格的權限控制，確定可以訪問的資源、何種方式訪問操作。