[發(fā)明專利]一種key與value分開存儲(chǔ)的key-value存儲(chǔ)系統(tǒng)設(shè)計(jì)方法

無(wú)效

• 申請(qǐng)?zhí)枺?/td>: 201310499659.1
• 申請(qǐng)日: 2013-10-22
• 公開（公告）號(hào): CN103559027A
• 公開（公告）日: 2014-02-05
• 發(fā)明（設(shè)計(jì)）人: 王雷;趙玉龍;王宇
• 申請(qǐng)（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號(hào): G06F9/44
• 分類號(hào): G06F9/44
• 代理公司: 北京永創(chuàng)新實(shí)專利事務(wù)所 11121
• 代理人: 祗志潔

1.一種鍵(key)與值(value)分開存儲(chǔ)的key-value存儲(chǔ)系統(tǒng)設(shè)計(jì)方法，基于底層結(jié)構(gòu)以bigtable為基礎(chǔ)的現(xiàn)有key-value存儲(chǔ)系統(tǒng)，其特征在于，包括如下兩個(gè)步驟：

第一步，構(gòu)造value在文件的寫入和讀取函數(shù)，將value在單獨(dú)的文件中存儲(chǔ)；

步驟1.1，構(gòu)造value的寫入函數(shù)，寫入函數(shù)的輸入?yún)?shù)包括value的內(nèi)容和長(zhǎng)度，返回值為value在文件中的偏移；每次在文件結(jié)尾處寫入value值，并設(shè)置一個(gè)變量用來(lái)保存文件結(jié)尾的偏移量；

步驟1.2，構(gòu)造value的讀取函數(shù)，讀取函數(shù)的輸入?yún)?shù)包括value在文件中的偏移和長(zhǎng)度，返回值是字符串形式的value值；value的讀取使用內(nèi)存映射；

第二步，實(shí)現(xiàn)鍵值對(duì)（key-value）的寫入和讀取；

步驟2.1，鍵值對(duì)的寫入，具體是：對(duì)一個(gè)key-value，首先將value按照步驟1.1寫入文件，并獲得value在文件中的偏移，然后，將value在文件中的偏移和value的長(zhǎng)度組合成一個(gè)64位的信息字段，并對(duì)信息字段進(jìn)行base64編碼，最后，將key和經(jīng)過(guò)base64編碼的信息字段作為一個(gè)鍵值對(duì)，寫入現(xiàn)有key-value存儲(chǔ)系統(tǒng)；

步驟2.2鍵值對(duì)的讀取，具體是：首先，根據(jù)key值，從現(xiàn)有key-value存儲(chǔ)系統(tǒng)中讀取對(duì)應(yīng)的信息字段，然后，對(duì)讀取的信息字段進(jìn)行base64解碼，從中獲取對(duì)應(yīng)value在文件中的偏移和長(zhǎng)度；最后，將獲得的偏移和長(zhǎng)度作為參數(shù)，調(diào)用步驟1.2中value的讀取函數(shù)，得到value值。

2.根據(jù)權(quán)利要求1所述的key-value存儲(chǔ)系統(tǒng)設(shè)計(jì)方法，其特征在于，所述的步驟1.2中，總的映射空間最多為100M。

3.根據(jù)權(quán)利要求1或2所述的key-value存儲(chǔ)系統(tǒng)設(shè)計(jì)方法，其特征在于，步驟1.2所述的value的讀取函數(shù)，所實(shí)現(xiàn)的操作為：

首先，對(duì)輸入的value在文件中的偏移addr進(jìn)行4kB的對(duì)齊操作，獲得偏移f_offset；

然后，在總的映射空間中查找f_offset，若查找到，獲取對(duì)應(yīng)的內(nèi)存映射的起始地址mmap_start，否則，將文件中讀取從偏移f_offset開始的大小為K的內(nèi)容，映射到內(nèi)存中，并獲取對(duì)應(yīng)的內(nèi)容映射的起始地址mmap_start，K為每次內(nèi)存映射的大小；

最后，判斷所需的value內(nèi)容是否全部在mmap_start開始的大小為K的內(nèi)存中，若在，直接讀取內(nèi)存mmap_start+addr-f_offset開始的長(zhǎng)度為length個(gè)字節(jié)的內(nèi)容，否則，先從內(nèi)存mmap_start+addr-f_offset開始讀取f_offset+K-addr個(gè)字節(jié)的內(nèi)容，再對(duì)f_offset+f_offset+K開始處的文件進(jìn)行映射，讀取所需value剩下的內(nèi)容；length為value的長(zhǎng)度。