[發(fā)明專(zhuān)利]數(shù)據(jù)采集方法、裝置及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201611032873.6
• 申請(qǐng)日: 2016-11-14
• 公開(kāi)（公告）號(hào): CN106776754B
• 公開(kāi)（公告）日: 2020-05-15
• 發(fā)明（設(shè)計(jì)）人: 李東鴿;牟曉光
• 申請(qǐng)（專(zhuān)利權(quán)）人: 東軟集團(tuán)股份有限公司
• 主分類(lèi)號(hào): G06F16/25
• 分類(lèi)號(hào): G06F16/25;G06F11/14;G06F11/30
• 代理公司: 北京鼎佳達(dá)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11348
• 代理人: 劉喆;劉鐵生

本發(fā)明公開(kāi)了一種數(shù)據(jù)采集方法、裝置及系統(tǒng)，涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，能夠在避免操作權(quán)限的基礎(chǔ)上，減少對(duì)源數(shù)據(jù)庫(kù)性能的影響。本發(fā)明的方法主要包括：監(jiān)聽(tīng)源數(shù)據(jù)庫(kù)的端口；當(dāng)有數(shù)據(jù)請(qǐng)求訪(fǎng)問(wèn)所述端口時(shí)，截獲并備份所述數(shù)據(jù)請(qǐng)求，其中，截獲的數(shù)據(jù)請(qǐng)求中包括對(duì)所述源數(shù)據(jù)庫(kù)進(jìn)行更新操作的數(shù)據(jù)請(qǐng)求；將備份的數(shù)據(jù)請(qǐng)求發(fā)送給采集設(shè)備，以便所述采集設(shè)備根據(jù)所述備份的數(shù)據(jù)請(qǐng)求，采集變化后的源數(shù)據(jù)庫(kù)中的變化數(shù)據(jù)并同步至目標(biāo)數(shù)據(jù)庫(kù)。本發(fā)明主要適用于通過(guò)數(shù)據(jù)采集實(shí)現(xiàn)數(shù)據(jù)庫(kù)同步的場(chǎng)景中。

技術(shù)領(lǐng)域

本發(fā)明涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，特別是涉及一種數(shù)據(jù)采集方法、裝置及系統(tǒng)。

背景技術(shù)

在實(shí)際應(yīng)用中，常常需要實(shí)現(xiàn)兩個(gè)數(shù)據(jù)庫(kù)的同步，即目標(biāo)數(shù)據(jù)庫(kù)所屬的設(shè)備常常需要將源數(shù)據(jù)庫(kù)發(fā)生的變化實(shí)時(shí)采集到目標(biāo)數(shù)據(jù)庫(kù)中。現(xiàn)有技術(shù)中主要有兩種數(shù)據(jù)采集的方式：(1)通過(guò)掃描并分析源數(shù)據(jù)庫(kù)歸檔日志的方式，識(shí)別出源數(shù)據(jù)庫(kù)的數(shù)據(jù)變化，然后采集變化數(shù)據(jù)至目標(biāo)數(shù)據(jù)庫(kù)中；(2)通過(guò)啟動(dòng)源數(shù)據(jù)庫(kù)自帶的觸發(fā)器的方式，實(shí)時(shí)監(jiān)控源數(shù)據(jù)庫(kù)的數(shù)據(jù)變化，然后采集變化數(shù)據(jù)至目標(biāo)數(shù)據(jù)庫(kù)中。

雖然上述兩種數(shù)據(jù)采集方式都能夠?qū)崿F(xiàn)兩個(gè)數(shù)據(jù)庫(kù)的同步，但是卻存在一定的缺陷。對(duì)于第一種方式，由于源數(shù)據(jù)庫(kù)的歸檔操作需要數(shù)據(jù)庫(kù)管理員權(quán)限，但是大多數(shù)金融機(jī)構(gòu)出于安全考慮，都不愿意給予他人這么高的權(quán)限，所以當(dāng)沒(méi)有數(shù)據(jù)庫(kù)管理員權(quán)限時(shí)，就無(wú)法采集到源數(shù)據(jù)庫(kù)中的變化數(shù)據(jù)；對(duì)于第二種方式，由于觸發(fā)器設(shè)置在源數(shù)據(jù)庫(kù)上，所以啟動(dòng)觸發(fā)器來(lái)實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)變化后，會(huì)對(duì)源數(shù)據(jù)庫(kù)的性能產(chǎn)生較大影響，例如實(shí)現(xiàn)增加、刪除或者修改等操作的速度往往會(huì)降低一半以上。因此，在采集變化數(shù)據(jù)的過(guò)程中，如何在避免操作權(quán)限的基礎(chǔ)上，減少對(duì)源數(shù)據(jù)庫(kù)性能的影響是面臨的一大難題。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明提供一種數(shù)據(jù)采集方法、裝置及系統(tǒng)，能夠在避免操作權(quán)限的基礎(chǔ)上，減少對(duì)源數(shù)據(jù)庫(kù)性能的影響。

第一方面，本發(fā)明提供了一種數(shù)據(jù)采集方法，所述方法包括：

監(jiān)聽(tīng)源數(shù)據(jù)庫(kù)的端口；

當(dāng)有數(shù)據(jù)請(qǐng)求訪(fǎng)問(wèn)所述端口時(shí)，截獲并備份所述數(shù)據(jù)請(qǐng)求，其中，截獲的數(shù)據(jù)請(qǐng)求中包括對(duì)所述源數(shù)據(jù)庫(kù)進(jìn)行更新操作的數(shù)據(jù)請(qǐng)求；

將備份的數(shù)據(jù)請(qǐng)求發(fā)送給采集設(shè)備，以便所述采集設(shè)備根據(jù)所述備份的數(shù)據(jù)請(qǐng)求，采集變化后的源數(shù)據(jù)庫(kù)中的變化數(shù)據(jù)并同步至目標(biāo)數(shù)據(jù)庫(kù)。

可選的，在截獲并備份所述數(shù)據(jù)請(qǐng)求之后，所述方法還包括：

監(jiān)聽(tīng)所述源數(shù)據(jù)庫(kù)是否接收到提交指令，所述提交指令為用于向所述源數(shù)據(jù)庫(kù)提交所述數(shù)據(jù)請(qǐng)求的操作指令；

若接收到所述提交指令，則向所述采集設(shè)備發(fā)送提交通知，以使得所述采集設(shè)備根據(jù)所述提交通知啟動(dòng)數(shù)據(jù)采集。

第二方面，本發(fā)明提供了一種數(shù)據(jù)采集方法，所述方法包括：

接收被采集設(shè)備發(fā)送的數(shù)據(jù)請(qǐng)求，所述被采集設(shè)備為源數(shù)據(jù)庫(kù)所屬設(shè)備，所述數(shù)據(jù)請(qǐng)求為所述被采集設(shè)備通過(guò)監(jiān)聽(tīng)所述源數(shù)據(jù)庫(kù)的端口獲得的數(shù)據(jù)；

通過(guò)分析所述數(shù)據(jù)請(qǐng)求中的特定數(shù)據(jù)位確定所述數(shù)據(jù)請(qǐng)求的數(shù)據(jù)操作類(lèi)型；

若所述數(shù)據(jù)操作類(lèi)型為用于更新所述源數(shù)據(jù)庫(kù)的操作類(lèi)型，則從所述源數(shù)據(jù)庫(kù)中采集所述數(shù)據(jù)請(qǐng)求中的數(shù)據(jù)對(duì)象對(duì)應(yīng)的變化數(shù)據(jù)，并根據(jù)所述數(shù)據(jù)操作類(lèi)型將所述變化數(shù)據(jù)同步至目標(biāo)數(shù)據(jù)庫(kù)中。

可選的，若所述數(shù)據(jù)操作類(lèi)型為查詢(xún)操作，則所述方法還包括：

丟棄所述數(shù)據(jù)請(qǐng)求。

可選的，從所述源數(shù)據(jù)庫(kù)中采集所述數(shù)據(jù)請(qǐng)求中的數(shù)據(jù)對(duì)象對(duì)應(yīng)的變化數(shù)據(jù)包括：

從所述數(shù)據(jù)請(qǐng)求中解析出數(shù)據(jù)對(duì)象；