[發明專利]一種面向異構存儲的適配裝置

有效

• 申請號: 201410674714.0
• 申請日: 2014-11-21
• 公開（公告）號: CN104361099B
• 公開（公告）日: 2017-10-20
• 發明（設計）人: 林榮恒;傅榮蓉;趙耀;鄒華;楊放春;陶鑫;黃信力;王鵬;徐旸;鄭海敏;黃韻臻;于婧
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京德琦知識產權代理有限公司11018
• 代理人: 張馳,宋志強

技術領域

本發明實施方式屬于移動應用技術領域，特別是一種面向異構存儲的適配裝置。

背景技術

在很多應用領域中，如果僅使用單一存儲模型的數據庫(如行數據庫、列數據庫或圖數據庫)是不足以應付異構、海量數據的存儲需求的。傳統上，行數據庫已廣泛地應用在Web網站系統、日志記錄系統以及嵌入式系統中。但是，隨著互聯網Web2.0網站的興起，關系數據庫在應付Web2.0網站，特別是超大規模和高并發的SNS類型的web2.0純動態網站時顯得力不從心，暴露了很多難以克服的問題。因為互聯網應用對高并發、低延時的需求已經放在了首位，如果使用數據庫縱向擴展的方式，則需要很大的服務器，采購和維護成本很高，并且單臺服務器配置有限，這就要求數據庫能適用于集群環境，能橫向擴展。并且，從業務角度看，數據一致性可以不放在首位，能夠容忍數據在短時間內不一致。

在此情況下，NoSQL數據庫孕育而生，其中包括了列數據庫和圖數據庫。列數據庫擅長高效的數據插入和查詢功能，并具有較高的壓縮比。圖數據庫的領域對象模型是圖結構，因此對于諸如社交關系、地圖數據或基因信息等這類數據，使用圖形數據庫進行存儲是最適合的，能夠使得模型轉換代價小、實現簡單且降低后期維護成本。

由于目前針對行、列、圖這三類數據庫的底層存儲結構尚無統一標準，因而也不存在有類似關系數據庫的查詢語言SQL那樣的可以統一地進行異構存儲數據庫執行CRDU操作的語言或技術標準。

現有技術中針對數據分析層面的類似技術——如Hive，impala，InfoBright雖然可以解決采集后數據行列混合存儲和壓縮的問題，但是它們都不涉及圖存儲模型與行、列存儲模型的混合封裝與適配功能，并且不支持對客戶端透明的對這三類存儲模型的數據庫間進行數據轉換、索引同步等功能。

因此，大型應用若需使用不同存儲模型的異構數據庫，則需要在編寫高層應用業務邏輯的同時，兼顧到底層這些不同數據庫所帶來的差異。在數據量徒增、數據類型多變的情況下，隨著所采用底層數據庫的類型、個數增加，這對應用的編寫而言無疑是一件及其繁雜、瑣碎的事情。進一步地，這也會導致整個應用的代碼越來越難以修改、管理以及維護。

發明內容

本發明實施方式提出一種面向異構存儲的適配裝置，向客戶端隱藏了底層具體數據庫在使用過程中帶來的差異，從而降低客戶端編程難度。

本發明實施方式的技術方案如下：

一種面向異構存儲的適配裝置，該裝置包括：

統一QL解析模塊，用于從客戶端接收統一QL語句，并對統一QL語句進行解析，其中當解析結果為索引CRUD操作請求時，將索引CRUD操作請求發送到索引模塊；當解析結果為數據轉換請求時，將數據轉換請求發送到數據模型模塊；當解析結果為數據CRUD操作請求時，將數據CRUD操作請求發送到具體數據庫QL模塊；

統計模塊，用于從客戶端接收統一QL語句，根據預先設定的提取規則從統一QL語句中獲取索引關鍵字，生成關于索引關鍵字的索引CRUD操作請求，并將索引CRUD操作請求發送到索引模塊；

索引模塊，用于從統一QL解析模塊和統計模塊發送來的索引CRUD操作請求中提取索引關鍵字、索引操作命令和數據庫標識，并將索引關鍵字、索引操作命令和數據庫標識發送到具體數據庫QL模塊；

數據模型模塊，用于從數據轉換請求中提取數據關鍵字、轉換前數據庫標識和轉換后數據庫標識，并將數據關鍵字、轉換前數據庫標識和轉換后數據庫標識發送到具體數據庫QL模塊；

具體數據庫QL模塊，用于保存數據庫標識與數據庫類型之間的對應關系；根據索引模塊發送的索引關鍵字、索引操作命令和數據庫標識，生成與對應于數據庫標識的數據庫類型相符合的索引操作QL語句；根據數據模型模塊發送來的數據關鍵字、轉換前數據庫標識和轉換后數據庫標識，生成與轉換前數據庫標識相對應的數據庫類型相符合的數據讀取QL語句，對讀取的數據執行數據轉換，以及生成與轉換后數據庫標識相對應的數據庫類型相符合的數據存儲QL語句；從統一QL解析模塊發送來的數據CRUD操作請求中解析出數據關鍵字、數據CRUD操作命令和數據庫標識，生成與數據庫標識相對應的數據庫類型相符合的數據CRUD操作QL語句。

優選地，所述索引CRUD操作請求包括：添加索引模塊、查詢索引、更新索引或刪除索引。

優選地，所述數據庫類型包括行數據庫、列數據庫和圖數據庫。

優選地，還包括日志模塊，用于記錄數據轉換操作日志、索引CRUD操作日志和數據CRUD操作日志。