[發明專利]多引擎大數據平臺

在審

• 申請號: 202110911203.6
• 申請日: 2021-08-10
• 公開（公告）號: CN113377877A
• 公開（公告）日: 2021-09-10
• 發明（設計）人: 劉天瓊;林俊鋒;歐世民
• 申請（專利權）人: 深圳市愛云信息科技有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/28;G06F21/31;G06F21/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

多引擎大數據平臺，包括存儲引擎、資源管理系統、計算引擎、分析引擎、交互終端、用戶管理系統、任務管理系統、數據管理系統，存儲引擎用于實現結構化數據、非結構化數據的存儲和查詢功能，分析引擎用于實現不同場景的分析功能，計算引擎用于作為分析引擎的基礎提供大數據的分析處理功能，本發明通過Hadoop技術，采用多引擎架構為數據來源多樣化、數據類型多樣化、不同行業的服務型企業提供大數據平臺解決方案。

技術領域

本發明涉及大數據技術領域，具體涉及一種多引擎大數據平臺。

背景技術

以移動互聯網、云計算、大數據和人工智能為代表的新一輪科技創新，正在快速改變傳統的生產與管理方式，對服務型企業的經營模式甚至中介功能形成全面沖擊，服務型企業能否用好大數據，加快創新實現轉型，決定了其未來的可持續發展能力。

傳統以關系型數據倉庫為基礎的數據分析平臺已滿足不了當前業務發展的需求，服務型企業需要利用以云計算、大數據為核心的技術手段，將過去單一性的平臺升級至一個多樣化的生態系統，使之不僅能夠滿足基于數據容量大、類型多、流通快的大數據基本處理需求，能夠支持大數據的采集、存儲、處理和分析，而且能夠滿足架構在可用性、可擴展性、容錯性等方面的基本準則和用原始的格式來實現數據分析的基本要求。

公布號CN104199830A的專利名稱為搜索引擎優化大數據管理平臺，提出了一款基于SEO（搜索引擎優化）追蹤，整合網站所有流量，然后統計、分析和管理的大數據平臺，通過每天抓取網站SEO（搜索引擎優化）主要指標，整合關鍵詞排名、網站外鏈、網站收錄和網站流量等多個維度的數據，及時通知站長影響網站表現的因素；該專利解決的問題是為需要從網絡收集信息的客戶提供一種新型的數據采集方法。然而，現今的服務型企業的數據來源多樣化，除了從互聯網抓取之外，還有能夠從很多公開的數據平臺和統計中心獲得，因此，該方法僅適用于從互聯網抓取數據的企業，不適用于需要數據來源多樣化采集的企業。

公布號CN106844755A的專利提供了一種基于搜索引擎的數據資產快速檢索方法，提出通過使用solr搜索引擎及mllib中的智能推薦算法實現大數據搜索引擎及推薦引擎的構建，由于solr和mllib適用于文本（如WORD、PDF）的處理，如果數據類型中包括圖片、音頻和視頻則無法處理，因此，該方法不適用于數據類型多樣化的企業。

公布號CN108038773A的專利提供了一種基于多引擎集成技術的醫療健康大數據服務方法，包括構建醫療DTP綜合管理平臺，醫療DTP綜合管理平臺包括數聯引擎、互聯引擎和物聯引擎，數聯引擎采集原料藥制藥商端和制藥商端的訂單數據，數聯引擎將采集到的訂單數據實時輸出給醫院端、零售藥店端和網上藥店端，互聯引擎采集制藥商端的運營數據、第三方物流服務商端的安全數據，互聯引擎將采集到的安全數據實時輸出給患者端，患者端同時也能接收到醫院端的處方數據，物聯引擎采集第三方物流服務商端的GIS數據和藥品溫濕度數據，數聯引擎、互聯引擎和物聯引擎分別對各自采集到的數據進行挖掘分析，輸出相應的結果供需求各方參考；該方法針對醫院、零售藥店以及網上藥店企業，不適用于其他行業的企業。

Hadoop生態系統憑借其低廉的軟硬件成本、強大的并行計算能力、豐富的數據采集通道、支持多種數據類型和多樣化的計算查詢引擎，已成為大數據技術標準和企業標配，為數據來源多樣化、數據類型多樣化、不同行業的服務型企業搭建大數據平臺提供了解決方案。

發明內容

本發明的目的是提供多引擎大數據平臺，通過Hadoop技術，采用多引擎架構為數據來源多樣化、數據類型多樣化、不同行業的服務型企業提供大數據平臺解決方案。