[發明專利]一種大數據結構化查詢系統

在審

• 申請號: 201811279483.8
• 申請日: 2018-10-30
• 公開（公告）號: CN109063219A
• 公開（公告）日: 2018-12-21
• 發明（設計）人: 王海龍
• 申請（專利權）人: 深圳市海能通信股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京挺立專利事務所(普通合伙) 11265
• 代理人: 葉樹明

本發明公開了一種大數據結構化查詢系統，包括結構化數據索引單元、分片化查詢單元、重建結構化數據模型、數據匹配識別單元、建立數字字典單元、公式集合單元、NoSQL列存儲數據庫和數據轉換單元，其特征在于，所述結構化數據索引單元的輸出端與模糊運算模塊之間連接，所述模糊運算模塊包括建立數字字典單元和公式集合單元，所述建立數字字典單元和公式集合單元的輸出端均與分片化查詢單元的輸入端連接，所述分片化查詢單元的輸出端與重建結構化數據模型的輸入端連接，該大數據結構化查詢系統，降低運算復雜度，從而降低服務器符合，進而實現快速檢索的目的，解決大數據量的檢索過程中，云計算的分散式、分片式與關系數據庫管理的沖突。

技術領域

本發明涉及大數據技術領域，尤其涉及了一種大數據結構化查詢系統。

背景技術

隨著互聯網和信息技術的發展，數據呈幾何級數增長。隨處可見越積越多的各種格式的數據和電子文擋，信息社會跨入大數據時代。要充分利用大數據，首先是要長期保存大數據，其次是以有效且快捷的方式從大數據中找到所需要的信息，結構數據如人臉結構化數據每個數據大于4K，目前廠家的數據存儲和檢索通過關系數據庫和簡單的冒泡遍歷結構化數據，關系數據庫在大數據云計算領域舉步維艱，而冒泡排序過于緩慢，增加了大量的云服務器運算負荷。

因此，發明一種大數據結構化查詢系統來解決上述問題很有必要。

發明內容

為了克服現有技術的不足，本發明提供一種大數據結構化查詢系統。

本發明的目的采用如下技術方案實現：一種大數據結構化查詢系統，包括結構化數據索引單元、分片化查詢單元、重建結構化數據模型、數據匹配識別單元、建立數字字典單元、公式集合單元、NoSQL列存儲數據庫和數據轉換單元，其特征在于，所述結構化數據索引單元的輸出端與模糊運算模塊之間連接，所述模糊運算模塊包括建立數字字典單元和公式集合單元，所述建立數字字典單元和公式集合單元的輸出端均與分片化查詢單元的輸入端連接，所述分片化查詢單元的輸出端與重建結構化數據模型的輸入端連接，所述重建結構化數據模型的輸出端與數據匹配識別單元的輸入端連接，所述數據匹配識別單元的輸出端與NoSQL列存儲數據庫的輸入端連接。

優選的，所述數據轉換單元將數據轉換為結構化數據，數據轉換單元的輸出端與NoSQL列存儲數據庫連接，所述結構化數據存儲在NoSQL列存儲數據庫內。

優選的，所述結構化數據采用Long型標識和結構數據分片。

優選的，所述數據轉換單元包括PC機、掃描儀、照相機和手機中的至少一種。

優選的，所述NoSQL列存儲數據庫存儲在機械硬盤、移動硬盤、固態硬盤的至少一種。

優選的，所述結構化數據索引單元內置于PC客戶端內。

相比現有技術，本發明的有益效果在于：該大數據結構化查詢系統，使用時，針對結構化數據內容，建立數據字典和公式集合，對結構化數據進行序列化并建立索引，分布式存儲于NoSql數據庫中，根據分片查詢結果重建結構化數據模型，在重建的數據模型基礎上進行匹配識別，降低運算復雜度，從而降低服務器符合，進而實現快速檢索的目的，解決大數據量的檢索過程中，云計算的分散式、分片式與關系數據庫管理的沖突。

下面結合附圖和具體實施方式對本發明作進一步詳細說明。

附圖說明

圖1是本發明的模塊結構示意圖；

圖2是本發明的運算結構示意圖。

具體實施方式

下面，結合附圖以及具體實施方式，對本發明做進一步描述，需要說明的是，在不相沖突的前提下，以下描述的各實施例之間或各技術特征之間可以任意組合形成新的實施例。