[發明專利]一種將數據錄入數據庫的方法及裝置

有效

• 申請號: 201410735141.8
• 申請日: 2014-12-04
• 公開（公告）號: CN105718485B
• 公開（公告）日: 2019-08-27
• 發明（設計）人: 陳洪嶺
• 申請（專利權）人: 中國移動通信集團公司
• 主分類號: G06F16/22
• 分類號: G06F16/22
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 郭潤湘

本發明公開了一種將數據錄入數據庫的方法及裝置，在將詳單數據錄入到數據庫時，將詳單數據中的多個字段錄入到數據庫的一個單元格中，減小了詳單數據在數據庫中所占的單元格數量，從而使得在采用分布式數據庫方式存儲數據庫中每個單元格的數據時，減小了存儲詳單數據占用的存儲空間，節省存儲成本。所述將數據錄入到數據庫的方法及裝置，包括：獲取用戶設備的標識以及用于描述該用戶設備處理事件的詳單數據，該詳單數據包括多個用于描述事件信息的字段；將所述用戶設備的標識與所述詳單數據的對應關系錄入數據庫中，其中，所述詳單數據中的多個字段錄入到該數據庫的一個單元格中。

技術領域

本發明涉及通信技術領域，尤其涉及一種將數據錄入數據庫的方法及裝置。

背景技術

現有的詳單查詢系統采用傳統的小型機+陣列的實現方式，通過兩臺主機處理不同號段的詳單處理、查詢服務，以減小單臺主機的處理壓力，并且通過完全公平調度程序(Completely Fair Scheduler，CFS)軟件提供不同主機共享文件系統，以解決查詢詳單數據的統一管理，具體來說：系統通過索引+查詢來實現整體的查詢功能。為滿足數據查詢的高速和并發要求，現有系統索引以文件形式存儲管理，同時為保證查詢時文件及文件內容的快速定位，為文件及文件內容創建二級索引，一級索引對文件提供快速速定位，二級索引對文件內容提供快速的定位。

但是，現有詳單查詢模式在系統擴展上存在有如下缺點：擴容復雜，并且需要長時間停止查詢服務；服務器、存儲等價格昂貴；沒有完備的容災方案。

以上的幾個缺點也是集中式系統架構普遍存在的缺點，而采用分布式系統相比有明顯的幾個優點：分布式計算，充分利用計算機資源；分布式部署，數據容災；多服務器響應，處理速度快；采用刀片設備替換小型機+存儲架構，節約投資成本。

傳統的分布式系統涉及到兩個分布式架構，分別為分布式文件系統(HadoopDistributed File System，HDFS)和分布式數據庫(Hadoop database，HBASE)。

HDFS是分布式系統基礎架構(Hadoop)的組成部分，以流式數據訪問模式來存儲千兆字節(Gigabyte，GB)到太字節(Terabyte，TB)級的超大文件，可以運行于X86集群中，擁有高容錯性和高吞吐量的特點，HDFS中每份數據存儲擁有兩個備份，并動態對數據備份進行優化調整，這樣可以避免硬件故障帶來的存儲丟失。HDFS中的名字節點(NameNode)和數據節點(DataNode)以一主多從的方式對集群進行管理。當系統需要擴容時，無需停止文件系統，只需增加機器，安裝并啟動DataNode節點，DataNode節點發送新地址給NameNode，當NameNode發現新的DataNode后，即可更新集群存儲容量，完成對系統的擴容。

HBASE是基于分布式文件系統HDFS的，其利用低成本的硬件提供高性能的數據加載、索引和查詢能力，用于海量、多樣(結構化、非結構化)、實時的大數據存取場景。分布式數據庫中數據存儲在最底層的分布式文件系統中。

分布式數據庫也是一主多從的結構，當客戶端發起數據庫查詢后，主服務器會通知客戶端，它需要的數據在哪個從服務器中，然后客戶端直接連接到從服務器。從服務器在它所管理的各個數據分區中，準確定位客戶端查詢的數據是在哪個數據文件中，然后將讀取到的數據返回給客戶端。數據文件中存儲的是鍵值對類型的數據。

數據文件的存儲結構如圖1所示，包括：KEY的值、值長度、索引長度、索引值、列簇長度、列簇名、列名、時間戳、KEY類型、列的值和列的版本。對于數據庫中任一單元格，按照HBASE的存儲結構，其占用的空間序列如表1所示：

表1

現對數據庫中每個單元格采用HBASE的存儲結構存儲時占用的存儲空間進行分析：

任一單元格占用存儲的大小為：