[發(fā)明專利]一種數(shù)據(jù)處理方法及同步設(shè)備

有效

• 申請?zhí)枺?/td>: 201611071752.2
• 申請日: 2016-11-28
• 公開（公告）號: CN108121718B
• 公開（公告）日: 2021-12-24
• 發(fā)明（設(shè)計）人: 郭秦龍
• 申請（專利權(quán)）人: 北京國雙科技有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/23
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 王寶筠

本發(fā)明實(shí)施例公開了一種數(shù)據(jù)處理方法及同步設(shè)備，用于不同的數(shù)據(jù)庫之間同步數(shù)據(jù)時節(jié)約時間成本。本發(fā)明實(shí)施例方法包括：同步設(shè)備對第一數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行監(jiān)控；當(dāng)?shù)谝粩?shù)據(jù)庫的數(shù)據(jù)發(fā)生更新后，再獲取第一表格中第一主鍵所在列中的鍵值和第二數(shù)據(jù)庫中第二主鍵對應(yīng)的屬性數(shù)據(jù)，其中第一表格為包含于第一數(shù)據(jù)庫中的二維表，第二數(shù)據(jù)庫的數(shù)值與更新前的第一數(shù)據(jù)庫的數(shù)值相同，第一主鍵包括時間戳或自增長序列號，第二主鍵與第一主鍵對應(yīng)；同步設(shè)備根據(jù)第一主鍵所在列中的鍵值和第二主鍵對應(yīng)的屬性數(shù)據(jù)確定更新的數(shù)據(jù)后，將更新的數(shù)據(jù)導(dǎo)入第二數(shù)據(jù)庫。本發(fā)明實(shí)施例還提供了一種同步設(shè)備，能夠使不同的數(shù)據(jù)庫之間同步數(shù)據(jù)時節(jié)約時間成本。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機(jī)領(lǐng)域，尤其涉及一種數(shù)據(jù)處理方法及同步設(shè)備。

背景技術(shù)

目前對數(shù)據(jù)的存儲，一般都采用關(guān)系型數(shù)據(jù)庫，關(guān)系型數(shù)據(jù)庫將數(shù)據(jù)保存在不同的表中，而不是將所有數(shù)據(jù)放在一個大倉庫里，這樣就增加了速度并提高了靈活性。然而，隨著業(yè)務(wù)發(fā)展，一方面為了適應(yīng)新業(yè)務(wù)而采用非關(guān)系型數(shù)據(jù)庫作為存儲和管理數(shù)據(jù)的工具，另一方面為了兼容舊有系統(tǒng)而必須采用關(guān)系型數(shù)據(jù)庫。同時，在從傳統(tǒng)的關(guān)系型數(shù)據(jù)庫到非關(guān)系型數(shù)據(jù)庫同步數(shù)據(jù)的過程中，會遇到關(guān)系型數(shù)據(jù)庫存在修改的情況，然而非關(guān)系型數(shù)據(jù)庫不允許對于已有的數(shù)據(jù)庫進(jìn)行修改，而導(dǎo)致非關(guān)系型數(shù)據(jù)庫增量數(shù)據(jù)重復(fù)的問題。

現(xiàn)有技術(shù)中，為避免數(shù)據(jù)庫增量數(shù)據(jù)重復(fù)，在每次更新數(shù)據(jù)時，將非關(guān)系型數(shù)據(jù)庫的數(shù)據(jù)全部清空掉，然后全部重新從關(guān)系型數(shù)據(jù)庫加載進(jìn)來。

然而，現(xiàn)有技術(shù)中，由于數(shù)據(jù)動輒百萬，千萬甚至億級計算，如果每次更新數(shù)據(jù)都需要全部加載，而實(shí)際上只有少量的數(shù)據(jù)進(jìn)行更新，全部重現(xiàn)加載則會對于大部分以前的沒有變化的數(shù)據(jù)重導(dǎo)，耗費(fèi)了極大的時間資源。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供了一種數(shù)據(jù)處理方法及同步設(shè)備，用于在關(guān)系型數(shù)據(jù)庫向非關(guān)系數(shù)據(jù)庫同步數(shù)據(jù)時節(jié)約時間成本。

本發(fā)明實(shí)施例一方面提供了一種數(shù)據(jù)處理方法，具體包括：

同步設(shè)備對第一數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行監(jiān)控；

當(dāng)所述第一數(shù)據(jù)庫的數(shù)據(jù)發(fā)生更新后，所述同步設(shè)備獲取第一表格中第一主鍵所在列中的鍵值和第二數(shù)據(jù)庫中第二主鍵對應(yīng)的屬性數(shù)據(jù)，所述第一表格為包含于所述第一數(shù)據(jù)庫中的二維表，所述第二數(shù)據(jù)庫的數(shù)值與更新前的所述第一數(shù)據(jù)庫的數(shù)值相同，所述第一主鍵包括時間戳或自增長序列號，所述第二主鍵與所述第一主鍵對應(yīng)；

所述同步設(shè)備根據(jù)所述第一主鍵所在列中的鍵值和所述第二主鍵對應(yīng)的屬性數(shù)據(jù)確定更新的數(shù)據(jù)；

所述同步設(shè)備將所述更新的數(shù)據(jù)導(dǎo)入所述第二數(shù)據(jù)庫。

本發(fā)明實(shí)施例另一方面提供了一種同步設(shè)備，具體包括：

監(jiān)控單元，用于對第一數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行監(jiān)控；

獲取單元，當(dāng)所述第一數(shù)據(jù)庫的數(shù)據(jù)發(fā)生更新后，用于獲取第一表格中第一主鍵所在列中的鍵值和第二數(shù)據(jù)庫中第二主鍵對應(yīng)的屬性數(shù)據(jù)，所述第一表格為包含于所述第一數(shù)據(jù)庫中的二維表，所述第二數(shù)據(jù)庫的數(shù)值與更新前的所述第一數(shù)據(jù)庫的數(shù)值相同，所述第一主鍵包括時間戳或自增長序列號，所述第二主鍵與所述第一主鍵對應(yīng)；

第一確定單元，根據(jù)所述第一主鍵所在列中的鍵值和所述第二主鍵對應(yīng)的屬性數(shù)據(jù)確定更新的數(shù)據(jù)；

導(dǎo)入單元，用于將所述更新的數(shù)據(jù)導(dǎo)入所述第二數(shù)據(jù)庫。