[發明專利]一種數據快速讀寫的方法和裝置

有效

• 申請號: 201710842421.2
• 申請日: 2017-09-18
• 公開（公告）號: CN107704202B
• 公開（公告）日: 2021-09-07
• 發明（設計）人: 袁建偉;溫馨;朱雪妍
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 張一軍;涂艷

本發明公開了數據快速讀寫的方法和裝置，涉及計算機技術領域。該方法的一具體實施方式包括：建立索引文件，其中索引文件包括與磁盤塊對應的索引塊；獲取數據，將所述數據的每條記錄寫入磁盤塊中，并獲取每條記錄對應的標識；將所述磁盤塊的開始偏移地址、結束偏移地址和每條記錄對應的標識存儲在對應的索引塊中。該實施方式能夠解決數據大量讀寫時速度慢、性能差等問題。

技術領域

本發明涉及計算機技術領域，尤其涉及一種數據快速讀寫的方法和裝置。

背景技術

目前，隨著大數據時代的來臨，數據量呈幾何數增長，面對如此多的數據，如何才能保證數據的快速讀寫成成為了一個很大的難題。同時，想要更快的查詢讀取速度，則必須要對數據建立索引，而一旦數據過多，每次寫入時都需要更新索引，巨大的索引開銷會嚴重影響數據的寫入速度，解決兩者之間的矛盾也是必須要面對的難點。

在實現本發明過程中，發明人發現現有技術中至少存在如下問題：現有的技術方法都是采用B樹(B樹是為磁盤或其他直接存儲設備設計的一種平衡查找樹)家族來建立索引，當數據寫入時在磁盤中建立和維護一棵B樹，由于B樹的查詢效率為O(log2N)，因此數據的查詢速度非常的快。雖然B樹的查詢性能非常高，但是在有大量寫入的場景下寫入速度會變的特別慢。因為B數的寫入會涉及到大量的磁盤隨機寫，而磁盤的隨機讀寫效率非常差。因此，在有大量寫入的場景下，維護B樹的成本將會非常高，嚴重制約了數據的寫入速度。

發明內容

有鑒于此，本發明實施例提供一種數據快速讀寫的方法和裝置，能夠解決數據大量讀寫時速度慢、性能差等問題。

為實現上述目的，根據本發明實施例的一個方面，提供了一種數據快速寫入的方法，包括建立索引文件，其中索引文件包括與磁盤塊對應的索引塊；獲取數據，將所述數據的每條記錄寫入磁盤塊中，并獲取每條記錄對應的標識；將所述磁盤塊的開始偏移地址、結束偏移地址和每條記錄對應的標識存儲在對應的索引塊中。

可選地，所述的建立索引文件包括：將磁盤劃分為若干個磁盤塊，每個磁盤塊存儲若干條記錄；并且，將索引文件劃分為若干個索引塊，索引塊與磁盤塊一一對應，其中每個索引塊包括對應的磁盤塊的開始偏移量地址、結束偏移量地址和存儲對應磁盤塊每條記錄標識的BloomFilter表。

可選地，所述獲取每條記錄對應的標識之后，還包括：將每條記錄的標識記錄到BloomFilter表中。

可選地，所述將每條記錄的標識記錄到BloomFilter表中，包括：通過多階哈希函數將每條記錄的標識記錄到BloomFilter表中。

可選地，所述將所述磁盤塊的開始偏移地址、結束偏移地址和每條記錄對應的標識存儲在對應的索引塊中，包括：確定所述磁盤塊的數據寫入完成，將所述磁盤塊的開始偏移地址和結束偏移地址記錄在對應的索引塊中，并且將所述BloomFilter表寫入所述磁盤塊對應的索引塊中。

另外，根據本發明實施例的一個方面，提供了一種數據快速寫入的裝置，包括索引文件建立模塊，用于建立索引文件，其中索引文件包括與磁盤塊對應的索引塊；磁盤寫入模塊，用于獲取數據，將所述數據的每條記錄寫入磁盤塊中，并獲取每條記錄對應的標識；索引存儲模塊，用于將所述磁盤塊的開始偏移地址、結束偏移地址和每條記錄對應的標識存儲在對應的索引塊中。

可選地，所述索引文件建立模塊建立索引文件時，包括：將磁盤劃分為若干個磁盤塊，每個磁盤塊存儲若干條記錄；并且，將索引文件劃分為若干個索引塊，索引塊與磁盤塊一一對應，其中每個索引塊包括對應的磁盤塊的開始偏移量地址、結束偏移量地址和存儲對應磁盤塊每條記錄標識的BloomFilter表。

可選地，所述磁盤寫入模塊獲取每條記錄對應的標識之后，還用于：將每條記錄的標識記錄到BloomFilter表中。