[發(fā)明專利]一種數(shù)據(jù)快速讀寫的方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201710842421.2
• 申請(qǐng)日: 2017-09-18
• 公開（公告）號(hào): CN107704202B
• 公開（公告）日: 2021-09-07
• 發(fā)明（設(shè)計(jì)）人: 袁建偉;溫馨;朱雪妍
• 申請(qǐng)（專利權(quán)）人: 北京京東尚科信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類號(hào): G06F3/06
• 分類號(hào): G06F3/06
• 代理公司: 中原信達(dá)知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11219
• 代理人: 張一軍;涂艷

1.一種數(shù)據(jù)快速寫入的方法，其特征在于，包括：

建立索引文件，其中索引文件包括與磁盤塊對(duì)應(yīng)的索引塊；

獲取數(shù)據(jù)，將所述數(shù)據(jù)的每條記錄寫入磁盤塊中，并獲取每條記錄對(duì)應(yīng)的標(biāo)識(shí)；

將所述磁盤塊的開始偏移地址、結(jié)束偏移地址和每條記錄對(duì)應(yīng)的標(biāo)識(shí)存儲(chǔ)在對(duì)應(yīng)的索引塊中；其中，所述標(biāo)識(shí)包括該條記錄的摘要；

其中，所述的建立索引文件包括：

將磁盤劃分為若干個(gè)磁盤塊，每個(gè)磁盤塊存儲(chǔ)若干條記錄；并且，將索引文件劃分為若干個(gè)索引塊，索引塊與磁盤塊一一對(duì)應(yīng)，其中每個(gè)索引塊包括對(duì)應(yīng)的磁盤塊的開始偏移量地址、結(jié)束偏移量地址和存儲(chǔ)對(duì)應(yīng)磁盤塊每條記錄標(biāo)識(shí)的BloomFilter表。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取每條記錄對(duì)應(yīng)的標(biāo)識(shí)之后，還包括：

將每條記錄的標(biāo)識(shí)記錄到BloomFilter表中。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述將每條記錄的標(biāo)識(shí)記錄到BloomFilter表中，包括：

通過多階哈希函數(shù)將每條記錄的標(biāo)識(shí)記錄到BloomFilter表中。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述將所述磁盤塊的開始偏移地址、結(jié)束偏移地址和每條記錄對(duì)應(yīng)的標(biāo)識(shí)存儲(chǔ)在對(duì)應(yīng)的索引塊中，包括：

確定所述磁盤塊的數(shù)據(jù)寫入完成，將所述磁盤塊的開始偏移地址和結(jié)束偏移地址記錄在對(duì)應(yīng)的索引塊中，并且將所述BloomFilter表寫入所述磁盤塊對(duì)應(yīng)的索引塊中。

5.一種數(shù)據(jù)快速寫入的裝置，其特征在于，包括：

索引文件建立模塊，用于建立索引文件，其中索引文件包括與磁盤塊對(duì)應(yīng)的索引塊；包括：將磁盤劃分為若干個(gè)磁盤塊，每個(gè)磁盤塊存儲(chǔ)若干條記錄；并且，將索引文件劃分為若干個(gè)索引塊，索引塊與磁盤塊一一對(duì)應(yīng)，其中每個(gè)索引塊包括對(duì)應(yīng)的磁盤塊的開始偏移量地址、結(jié)束偏移量地址和存儲(chǔ)對(duì)應(yīng)磁盤塊每條記錄標(biāo)識(shí)的BloomFilter表；

磁盤寫入模塊，用于獲取數(shù)據(jù)，將所述數(shù)據(jù)的每條記錄寫入磁盤塊中，并獲取每條記錄對(duì)應(yīng)的標(biāo)識(shí)；

索引存儲(chǔ)模塊，用于將所述磁盤塊的開始偏移地址、結(jié)束偏移地址和每條記錄對(duì)應(yīng)的標(biāo)識(shí)存儲(chǔ)在對(duì)應(yīng)的索引塊中；其中，所述標(biāo)識(shí)包括該條記錄的摘要。

6.一種電子設(shè)備，其特征在于，包括：

一個(gè)或多個(gè)處理器；

存儲(chǔ)裝置，用于存儲(chǔ)一個(gè)或多個(gè)程序，

當(dāng)所述一個(gè)或多個(gè)程序被所述一個(gè)或多個(gè)處理器執(zhí)行，使得所述一個(gè)或多個(gè)處理器實(shí)現(xiàn)如權(quán)利要求1-4中任一所述的方法。

7.一種計(jì)算機(jī)可讀介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-4中任一所述的方法。

8.一種數(shù)據(jù)快速查詢的方法，其特征在于，包括：

接收數(shù)據(jù)查詢請(qǐng)求，以獲取查詢請(qǐng)求中的標(biāo)識(shí)；

加載索引文件，以在索引文件中查找到具有與所述標(biāo)識(shí)一致的記錄的索引塊；其中，索引文件包括與磁盤塊對(duì)應(yīng)的索引塊；將磁盤劃分為若干個(gè)磁盤塊，每個(gè)磁盤塊存儲(chǔ)若干條記錄；并且，將索引文件劃分為若干個(gè)索引塊，索引塊與磁盤塊一一對(duì)應(yīng)，其中每個(gè)索引塊包括對(duì)應(yīng)的磁盤塊的開始偏移量地址、結(jié)束偏移量地址和存儲(chǔ)對(duì)應(yīng)磁盤塊每條記錄標(biāo)識(shí)的BloomFilter表；

根據(jù)所述索引塊，查詢對(duì)應(yīng)的磁盤塊；

其中，所述標(biāo)識(shí)包括該條記錄的摘要。

9.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述獲取查詢請(qǐng)求中的標(biāo)識(shí)之后，還包括：

將所述標(biāo)識(shí)進(jìn)行多階哈希函數(shù)的計(jì)算，以獲得計(jì)算后的所述標(biāo)識(shí)。

10.根據(jù)權(quán)利要求9所述的方法，其特征在于，所述在索引文件中查找到具有與所述標(biāo)識(shí)一致的記錄的索引塊，包括：

將計(jì)算后的所述標(biāo)識(shí)與索引文件中索引塊的BloomFilter表中的每條記錄進(jìn)行比對(duì)，然后查找到具有與所述計(jì)算后的所述標(biāo)識(shí)一致的記錄的索引塊。