[發(fā)明專利]數(shù)據(jù)存儲和查詢方法及裝置

有效

• 申請?zhí)枺?/td>: 201811290218.X
• 申請日: 2018-10-31
• 公開（公告）號: CN111198877B
• 公開（公告）日: 2023-08-25
• 發(fā)明（設計）人: 姜珂;馮鴛鶴
• 申請（專利權）人: 北京國雙科技有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22
• 代理公司: 北京康信知識產(chǎn)權代理有限責任公司 11240
• 代理人: 趙囡囡;董文倩

本發(fā)明公開了一種數(shù)據(jù)存儲和查詢方法及裝置。該方法包括：在待存儲數(shù)據(jù)存入時，在內(nèi)容文件中申請內(nèi)容頭節(jié)點的存儲空間和內(nèi)容節(jié)點的存儲空間，在內(nèi)容頭節(jié)點的存儲空間中存儲數(shù)據(jù)的內(nèi)容節(jié)點的存儲地址，在內(nèi)容節(jié)點的存儲空間中存儲數(shù)據(jù)的實體內(nèi)容；將待存儲的數(shù)據(jù)的索引信息存入索引文件中，其中，在索引文件中申請索引信息的存儲空間，索引信息為待存儲數(shù)據(jù)的實體內(nèi)容的維度信息以及實體內(nèi)容在內(nèi)容文件中的內(nèi)容節(jié)點的存儲地址。通過本發(fā)明，達到了優(yōu)化數(shù)據(jù)庫存儲結構的效果。

技術領域

本發(fā)明涉及數(shù)據(jù)庫領域，具體而言，涉及一種數(shù)據(jù)存儲和查詢方法及裝置。

背景技術

目前市面上的存儲庫產(chǎn)品的種類很多，有基于大數(shù)據(jù)的hadoop基礎的hbase，spark，impala等，有基于關系型數(shù)據(jù)庫的sqlserver，mysql等，有非sql的mango等，各種產(chǎn)品針對的產(chǎn)品需求不同，功能各異，但是針對特定存儲的解決方案缺點很難找到，比如在存儲解析文書結果的需求中，經(jīng)過大量的評測和試用沒有找到合適的產(chǎn)品可以用，用戶的需求主要有以下的特點和存儲需求：

1，數(shù)據(jù)的量：千萬組結果，每組結果又有千級的維度信息，每個維度信息又有多個子結果，每個子結果還有多個屬性，所以很難平鋪成二維表，所以不適用常規(guī)的關系型數(shù)據(jù)庫。

2，動態(tài)的數(shù)據(jù)列：因為維度信息的屬性是多樣的，所以無法預定義列。

3，數(shù)據(jù)的頻繁更新：數(shù)據(jù)的更新速度很快，而且每次都是全庫更新，所以不存在刪除單條數(shù)據(jù)的需求。

4，要求數(shù)據(jù)的寫入速度快速：因為解析是基于分布式系統(tǒng)的，所以要能消化掉解析的速度。

5，數(shù)據(jù)可以根據(jù)列進行篩選查詢。

6，支持數(shù)據(jù)的部分(全部)導出，很容易擴展成off-line的數(shù)據(jù)包。

針對相關技術中數(shù)據(jù)庫存儲結構無法滿足用戶需求的問題，目前尚未提出有效的解決方案。

發(fā)明內(nèi)容

本發(fā)明的主要目的在于提供一種數(shù)據(jù)存儲和查詢方法及裝置，以解決數(shù)據(jù)庫存儲結構無法滿足用戶需求的問題。

為了實現(xiàn)上述目的，根據(jù)本發(fā)明的一個方面，提供了一種數(shù)據(jù)存儲方法，該方法包括：在待存儲數(shù)據(jù)存入時，在內(nèi)容文件中申請內(nèi)容頭節(jié)點的存儲空間和內(nèi)容節(jié)點的存儲空間，在所述內(nèi)容頭節(jié)點的存儲空間中存儲數(shù)據(jù)的內(nèi)容節(jié)點的存儲地址，在所述內(nèi)容節(jié)點的存儲空間中存儲數(shù)據(jù)的實體內(nèi)容；將所述待存儲的數(shù)據(jù)的索引信息存入索引文件中，其中，在所述索引文件中申請索引信息的存儲空間，所述索引信息為待存儲數(shù)據(jù)的實體內(nèi)容的維度信息以及實體內(nèi)容在所述內(nèi)容文件中的內(nèi)容節(jié)點的存儲地址。

進一步地，所述方法還包括：在檢測到存在新的維度信息時，創(chuàng)建新的索引文件；將所述新的索引文件的存儲位置存入定義文件中。

進一步地，所述內(nèi)容文件包括表頭節(jié)點、內(nèi)容頭節(jié)點和內(nèi)容節(jié)點三種節(jié)點類型，將待存儲的數(shù)據(jù)首次存入內(nèi)容文件中包括：申請表頭節(jié)點的存儲空間、內(nèi)容頭節(jié)點的存儲空間和內(nèi)容節(jié)點的存儲空間，在所述表頭節(jié)點的存儲空間中存儲內(nèi)容文件的數(shù)據(jù)總條數(shù)和內(nèi)容頭節(jié)點的存儲位置；在所述內(nèi)容頭節(jié)點的存儲空間中存儲下一個內(nèi)容頭節(jié)點的存儲位置和內(nèi)容節(jié)點的存儲位置；在所述內(nèi)容節(jié)點的存儲空間中存儲數(shù)據(jù)的實體內(nèi)容。

進一步地，所述表頭節(jié)點、內(nèi)容頭節(jié)點和內(nèi)容節(jié)點各包括四個字節(jié)塊，第一字節(jié)塊、第二字節(jié)塊和第三字節(jié)塊各包括8個字節(jié)，第四字節(jié)塊包括4個字節(jié)，所述表頭節(jié)點的第一個塊表示內(nèi)容文件的數(shù)據(jù)總條數(shù)，第二個塊表示內(nèi)容頭節(jié)點的存儲位置，第三個塊和第四個塊為空；內(nèi)容頭節(jié)點的第一個塊為空，第二個塊表示下一條內(nèi)容頭節(jié)點的位置，第三個塊表示內(nèi)容節(jié)點的下一條的位置，第四塊表示內(nèi)容的長度；內(nèi)容節(jié)點的第一個塊表示內(nèi)容節(jié)點的下一條的位置，內(nèi)容節(jié)點的其余塊用于存儲數(shù)據(jù)的實體內(nèi)容，內(nèi)容節(jié)點的塊的數(shù)量根據(jù)所述數(shù)據(jù)實體內(nèi)容的大小確定。