[發明專利]一種大數據場景下的混合數據管理系統

有效

• 申請號: 202010555434.3
• 申請日: 2020-06-17
• 公開（公告）號: CN111695001B
• 公開（公告）日: 2023-05-30
• 發明（設計）人: 楊紫勝;陳思恩;廖雅哲;吳炎泉
• 申請（專利權）人: 科技谷（廈門）信息技術有限公司
• 主分類號: G06F16/903
• 分類號: G06F16/903;G06F16/901
• 代理公司: 廈門致群財富專利代理事務所(普通合伙) 35224
• 代理人: 劉兆慶;鄧貴琴

本發明公開了一種大數據場景下的混合數據管理系統，包括：數據層，其包括大數據平臺、混合數據系統及接口網關，所述大數據平臺通過接口網關與混合數據系統進行數據交互，所述大數據平臺具有一內置檢索引擎，所述內置檢索引擎用于實現對文本的檢索，所述大數據平臺包括Hbase數據庫、Hive數據庫及HDFS文件系統，所述混合數據系統包括關系型數據庫、FTP文件系統、NFS網絡文件系統及數據倉庫；索引層，其具有一混合數據引擎，所述混合數據引擎作為外置的全文檢索引擎，用于實現數據的索引；服務層，其用于執行數據的查詢、檢索。

技術領域

本發明涉及數據處理技術領域，特別涉及一種大數據場景下的混合數據管理系統。

背景技術

大數據是指無法在一定時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。

對于商用數據而言，往往是多種類型并存的混合數據，其具有信息量大、類型多樣以及處理復雜(不容易實現統一管理和檢索)的特點，利用傳統的商用大數據平臺難以實現高效的查詢檢索。

發明內容

為解決上述問題，本發明提供了一種大數據場景下的混合數據管理系統。

本發明采用以下技術方案：

一種大數據場景下的混合數據管理系統，包括：

數據層，其包括大數據平臺、混合數據系統及接口網關，所述大數據平臺通過接口網關與混合數據系統進行數據交互，所述大數據平臺具有一內置檢索引擎，所述內置檢索引擎用于實現對文本的檢索，所述大數據平臺包括Hbase數據庫、Hive數據庫及HDFS文件系統，所述混合數據系統包括關系型數據庫、FTP文件系統、NFS網絡文件系統及數據倉庫；

索引層，其具有一混合數據引擎，所述混合數據引擎作為外置的全文檢索引擎，用于實現數據的索引；

服務層，其用于執行數據的查詢、檢索。

優選地，所述混合數據引擎包括結構化數據存儲引擎、非結構化數據存儲引擎以及索引單元。

優選地，所述索引單元包括Hash索引模塊、B+索引模塊、層次索引模塊、高維索引模塊和倒排索引模塊。

優選地，所述接口網關基于彼此獨立的內置檢索引擎和混合數據引擎，利用一觸發器實現數據在大數據平臺和混合數據系統的同步。

優選地，所述服務層包括查詢執行模塊、全文檢索模塊、權限控制模塊及智能分析模塊。

采用上述技術方案后，本發明與背景技術相比，具有如下優點：

本發明設置有內置檢索引擎和混合數據引擎，并通過接口網關實現大數據平臺和混合數據系統之間的數據同步，進而實現數據的高效查詢檢索。

附圖說明

圖1為本發明的系統框圖。

具體實施方式

為了使本發明的目的、技術方案及優點更加清楚明白，以下結合附圖及實施例，對本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發明，并不用于限定本發明。

實施例

本發明公開了一種大數據場景下的混合數據管理系統，包括數據層、索引層及服務層，其中：