[發(fā)明專利]一種增量生成方法、裝置以及一種數(shù)據(jù)更新方法、裝置

在審

• 申請?zhí)枺?/td>: 201711330795.2
• 申請日: 2017-12-13
• 公開（公告）號: CN110147359A
• 公開（公告）日: 2019-08-20
• 發(fā)明（設(shè)計）人: 陶濤
• 申請（專利權(quán)）人: 北京奇虎科技有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/23;G06F16/22
• 代理公司: 北京鼎佳達(dá)知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11348
• 代理人: 劉鐵生;孟阿妮

本發(fā)明公開了一種增量生成方法、裝置以及一種數(shù)據(jù)更新方法、裝置，涉及計算機(jī)技術(shù)領(lǐng)域。所述方法，包括：監(jiān)控是否接收到外部系統(tǒng)對鍵值數(shù)據(jù)庫的更改操作；如果接收到所述更改操作，則將所述更改操作對應(yīng)的原始key和相應(yīng)的原始value記錄到預(yù)設(shè)的特殊key對應(yīng)的特殊value中。解決了現(xiàn)有的增量記錄方法無法在具備key?value存儲形式的優(yōu)勢條件下記錄增量，取得了在具備key?value存儲形式的優(yōu)勢條件下記錄增量，避免占用內(nèi)存較多，容易影響系統(tǒng)的有益效果。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機(jī)技術(shù)領(lǐng)域，具體涉及一種增量生成方法、裝置以及一種數(shù)據(jù)更新方法、裝置。

背景技術(shù)

隨著互聯(lián)網(wǎng)web2.0(第二代互聯(lián)網(wǎng))網(wǎng)站的興起，傳統(tǒng)的關(guān)系數(shù)據(jù)庫在應(yīng)付web2.0網(wǎng)站，特別是超大規(guī)模和高并發(fā)的SNS(Social Networking Services，社交網(wǎng)絡(luò)服務(wù))類型的web2.0純動態(tài)網(wǎng)站已經(jīng)顯得力不從心，暴露了很多難以克服的問題，而非關(guān)系型的數(shù)據(jù)庫則由于其本身的特點(diǎn)得到了非常迅速的發(fā)展。NoSQL(NoSQL＝Not Only SQL)數(shù)據(jù)庫的產(chǎn)生就是為了解決大規(guī)模數(shù)據(jù)集合多重數(shù)據(jù)種類帶來的挑戰(zhàn)，尤其是大數(shù)據(jù)應(yīng)用難題。鍵值數(shù)據(jù)庫即是一種NoSQL數(shù)據(jù)庫。

在鍵值數(shù)據(jù)庫中，是采用key-value對的形式進(jìn)行數(shù)據(jù)存儲，而且key-value存儲一般都是根據(jù)key獲取value，保存的時候只要把key-value保存起來就行了。在NoSQL數(shù)據(jù)庫中，數(shù)據(jù)在不斷地更新，可實(shí)時獲取最新的客戶的所有的數(shù)據(jù)。但是卻無法獲取數(shù)據(jù)的實(shí)時變化量，即增量。而且，如果利用表格的方式記錄增量，那么則需要針對同一數(shù)據(jù)同時建立兩張表，一張用以記錄數(shù)據(jù)，一張用以記錄數(shù)據(jù)的增量，那么此時不具備key-value存儲形式的優(yōu)勢，而且會導(dǎo)致占用內(nèi)存較多，容易影響系統(tǒng)運(yùn)行效率。

發(fā)明內(nèi)容

鑒于上述問題，提出了本發(fā)明以便提供一種克服上述問題或者至少部分地解決上述問題的一種增量生成方法、裝置以及一種數(shù)據(jù)更新方法、裝置。

依據(jù)本發(fā)明的一個方面，提供了一種增量生成方法，包括：

監(jiān)控是否接收到外部系統(tǒng)對鍵值數(shù)據(jù)庫的更改操作；

如果接收到所述更改操作，則將所述更改操作對應(yīng)的原始key和相應(yīng)的原始value記錄到預(yù)設(shè)的特殊key對應(yīng)的特殊value中。

可選地，所述監(jiān)控是否接收到外部系統(tǒng)對鍵值數(shù)據(jù)庫的更改操作的步驟之前，還包括：

在鍵值數(shù)據(jù)庫中創(chuàng)建所述特殊key-特殊value對。

可選地，所述將所述更改操作對應(yīng)的原始key和相應(yīng)的原始value記錄到預(yù)設(shè)的特殊key對應(yīng)的特殊value中的步驟，包括：

當(dāng)所述更改操作為新增操作、或修改操作時，將所述新增操作、或修改操作對應(yīng)的原始key和相應(yīng)的原始value，寫入所述特殊key對應(yīng)的特殊value中；

當(dāng)所述更改操作為刪除操作時，將所述刪除操作對應(yīng)的原始key創(chuàng)建為空值的原始value，并將所述原始key和所述原始value寫入所述特殊key對應(yīng)的特殊value中。

可選地，所述將所述更改操作對應(yīng)的原始key和相應(yīng)的原始value記錄到預(yù)設(shè)的特殊key對應(yīng)的特殊value中的步驟，包括：

對于同一個原始key，按相應(yīng)的原始key和原始value的寫入順序加上版本編號。

可選地，所述將所述更改操作對應(yīng)的原始key和相應(yīng)的原始value記錄到預(yù)設(shè)的特殊key對應(yīng)的特殊value中的步驟，包括：

判斷所述特殊value中是否有所述原始key的記錄；