[發(fā)明專利]數(shù)據(jù)轉(zhuǎn)化方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201710175759.7
• 申請(qǐng)日: 2017-03-22
• 公開（公告）號(hào): CN106951536A
• 公開（公告）日: 2017-07-14
• 發(fā)明（設(shè)計(jì)）人: 林桂泉
• 申請(qǐng)（專利權(quán)）人: 努比亞技術(shù)有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 深圳市凱達(dá)知識(shí)產(chǎn)權(quán)事務(wù)所44256
• 代理人: 劉大彎,沈榮彬

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)庫(kù)技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)轉(zhuǎn)化方法及系統(tǒng)。

背景技術(shù)

目前，隨著計(jì)算機(jī)軟件技術(shù)的發(fā)展，企業(yè)內(nèi)部所使用的大型IT系統(tǒng)(例如人事系統(tǒng)、財(cái)務(wù)系統(tǒng))越來(lái)越多，不同的IT系統(tǒng)在正常工作時(shí)往往會(huì)生成大量的數(shù)據(jù)。所述數(shù)據(jù)一般存儲(chǔ)于對(duì)應(yīng)的數(shù)據(jù)庫(kù)中。通常，企業(yè)內(nèi)部大型IT系統(tǒng)之間往往存在較為緊密的依賴關(guān)系，一個(gè)IT系統(tǒng)在正常運(yùn)行時(shí)，可能經(jīng)常需要從一個(gè)或多個(gè)其他的IT系統(tǒng)中導(dǎo)入或?qū)С鰯?shù)據(jù)，或者，經(jīng)常將該IT系統(tǒng)的數(shù)據(jù)同步到一個(gè)或多個(gè)其他的IT系統(tǒng)中去。

然而，不同IT系統(tǒng)在開發(fā)之初開發(fā)者的習(xí)慣不同，不同IT系統(tǒng)所對(duì)應(yīng)的業(yè)務(wù)類型也存在差異，使得大部分的IT系統(tǒng)所預(yù)先配置的數(shù)據(jù)庫(kù)往往各不相同。例如，企業(yè)財(cái)務(wù)系統(tǒng)可能采用的MySQL數(shù)據(jù)庫(kù)來(lái)存儲(chǔ)財(cái)務(wù)數(shù)據(jù)，而企業(yè)人事系統(tǒng)的人事數(shù)據(jù)卻采用的Oracle數(shù)據(jù)庫(kù)來(lái)存儲(chǔ)等。這導(dǎo)致不同IT系統(tǒng)之間在進(jìn)行數(shù)據(jù)導(dǎo)入、數(shù)據(jù)導(dǎo)出、以及數(shù)據(jù)同步任務(wù)時(shí)，往往需要需要較長(zhǎng)的時(shí)間，嚴(yán)重影響IT系統(tǒng)的工作效率。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明提出一種數(shù)據(jù)轉(zhuǎn)化方法及系統(tǒng)，能夠更加快捷、高效地進(jìn)行企業(yè)內(nèi)部IT系統(tǒng)之間數(shù)據(jù)庫(kù)數(shù)據(jù)的轉(zhuǎn)化工作。

首先，為實(shí)現(xiàn)上述目的，本發(fā)明提出一種數(shù)據(jù)轉(zhuǎn)化系統(tǒng)，所述系統(tǒng)包括：

請(qǐng)求接收模塊，用于接收數(shù)據(jù)轉(zhuǎn)化請(qǐng)求，所述數(shù)據(jù)轉(zhuǎn)化請(qǐng)求包括源數(shù)據(jù)庫(kù)的類型和數(shù)據(jù)格式、待轉(zhuǎn)化數(shù)據(jù)、目的數(shù)據(jù)庫(kù)的類型和數(shù)據(jù)格式；

工具確定模塊，用于根據(jù)所述源數(shù)據(jù)庫(kù)的類型和數(shù)據(jù)格式確定從該源數(shù)據(jù)庫(kù)讀取數(shù)據(jù)的讀取工具，根據(jù)所述目的數(shù)據(jù)庫(kù)的類型和數(shù)據(jù)格式確定在該目的數(shù)據(jù)庫(kù)內(nèi)寫入數(shù)據(jù)的寫入工具；

數(shù)據(jù)采集模塊，用于利用所述讀取工具從所述源數(shù)據(jù)庫(kù)中讀取所述待轉(zhuǎn)化數(shù)據(jù)；

數(shù)據(jù)轉(zhuǎn)化模塊，用于將所述待轉(zhuǎn)化數(shù)據(jù)轉(zhuǎn)化為與所述目的數(shù)據(jù)庫(kù)的數(shù)據(jù)格式對(duì)應(yīng)的數(shù)據(jù)；

數(shù)據(jù)寫入模塊，用于獲取轉(zhuǎn)化后的數(shù)據(jù)，并利用所述寫入工具將所述轉(zhuǎn)化后的數(shù)據(jù)寫入所述目的數(shù)據(jù)庫(kù)。

可選地，所述數(shù)據(jù)轉(zhuǎn)化模塊，具體用于：

從所述讀取工具接收所讀取的待轉(zhuǎn)化數(shù)據(jù)，并將所述待轉(zhuǎn)化數(shù)據(jù)轉(zhuǎn)化為預(yù)設(shè)格式的字符；

解析所述預(yù)設(shè)格式的字符，將所述預(yù)設(shè)格式的字符轉(zhuǎn)化為所述目的數(shù)據(jù)庫(kù)的數(shù)據(jù)格式的數(shù)據(jù)。

可選地，所述目的數(shù)據(jù)庫(kù)包括多個(gè)，其中：

所述工具確定模塊，還用于根據(jù)每一個(gè)目的數(shù)據(jù)庫(kù)的類型和數(shù)據(jù)格式確定與每一個(gè)目的數(shù)據(jù)庫(kù)對(duì)應(yīng)的寫入工具；

所述數(shù)據(jù)轉(zhuǎn)化模塊，還用于將所述待轉(zhuǎn)化數(shù)據(jù)分別轉(zhuǎn)化為與每一個(gè)目的數(shù)據(jù)庫(kù)的數(shù)據(jù)格式相對(duì)應(yīng)的數(shù)據(jù)；

數(shù)據(jù)寫入模塊，用于分別獲取與每一個(gè)目的數(shù)據(jù)庫(kù)相對(duì)應(yīng)的轉(zhuǎn)化后的數(shù)據(jù)，并利用與每一個(gè)目的數(shù)據(jù)庫(kù)相對(duì)應(yīng)的寫入工具，在每一個(gè)目的數(shù)據(jù)庫(kù)中分別寫入與之對(duì)應(yīng)的轉(zhuǎn)化后的數(shù)據(jù)。

可選地，所述預(yù)設(shè)格式的字符包括Json格式的字符。

可選地，所述數(shù)據(jù)轉(zhuǎn)化請(qǐng)求包括數(shù)據(jù)導(dǎo)入請(qǐng)求、數(shù)據(jù)導(dǎo)出請(qǐng)求、以及數(shù)據(jù)同步請(qǐng)求；所述源數(shù)據(jù)庫(kù)或所述目的數(shù)據(jù)庫(kù)包括MySQL、Oracle、Hive、Hdfs。

相較于現(xiàn)有技術(shù)，本發(fā)明所提出的數(shù)據(jù)轉(zhuǎn)化系統(tǒng)，首先根據(jù)源數(shù)據(jù)庫(kù)的類型和數(shù)據(jù)格式、目的數(shù)據(jù)的類型和數(shù)據(jù)格式，分別確定了讀取數(shù)據(jù)所需的讀取工具和寫入數(shù)據(jù)所需的寫入工具；然后利用所確定的讀寫工具從源數(shù)據(jù)庫(kù)中讀取用戶指定的待轉(zhuǎn)化數(shù)據(jù)，并將該待轉(zhuǎn)化數(shù)據(jù)轉(zhuǎn)換成預(yù)定格式的字符；接著以預(yù)定格式字符為媒介，將待轉(zhuǎn)化數(shù)據(jù)轉(zhuǎn)化成為符合目的數(shù)據(jù)庫(kù)數(shù)據(jù)格式要求的數(shù)據(jù)，最后將轉(zhuǎn)化后的數(shù)據(jù)寫入目的數(shù)據(jù)中。這樣，通過(guò)輕量級(jí)的媒介格式，實(shí)現(xiàn)了多個(gè)數(shù)據(jù)庫(kù)之間數(shù)據(jù)的快速導(dǎo)入、導(dǎo)出和同步，提高了數(shù)據(jù)轉(zhuǎn)化的速度和IT系統(tǒng)的工作效率。同時(shí)，本發(fā)明在有新格式的數(shù)據(jù)庫(kù)時(shí)，僅需在該系統(tǒng)內(nèi)添加對(duì)應(yīng)的讀寫工具即可實(shí)現(xiàn)該數(shù)據(jù)庫(kù)的數(shù)據(jù)與原有數(shù)據(jù)庫(kù)之間的數(shù)據(jù)轉(zhuǎn)化，無(wú)需重復(fù)開發(fā)、維護(hù)多個(gè)數(shù)據(jù)轉(zhuǎn)化工具，具備較強(qiáng)的可拓展性。

此外，為實(shí)現(xiàn)上述目的，本發(fā)明還提供一種數(shù)據(jù)轉(zhuǎn)化方法，所述方法包括：

所述方法包括：

接收數(shù)據(jù)轉(zhuǎn)化請(qǐng)求，所述數(shù)據(jù)轉(zhuǎn)化請(qǐng)求包括源數(shù)據(jù)庫(kù)的類型和數(shù)據(jù)格式、待轉(zhuǎn)化數(shù)據(jù)、目的數(shù)據(jù)庫(kù)的類型和數(shù)據(jù)格式；

根據(jù)所述源數(shù)據(jù)庫(kù)的類型和數(shù)據(jù)格式確定從該源數(shù)據(jù)庫(kù)讀取數(shù)據(jù)的讀取工具，根據(jù)所述目的數(shù)據(jù)庫(kù)的類型和數(shù)據(jù)格式確定在該目的數(shù)據(jù)庫(kù)內(nèi)寫入數(shù)據(jù)的寫入工具；

利用所述讀取工具從所述源數(shù)據(jù)庫(kù)中讀取所述待轉(zhuǎn)化數(shù)據(jù)；

將所述待轉(zhuǎn)化數(shù)據(jù)轉(zhuǎn)化為與所述目的數(shù)據(jù)庫(kù)的數(shù)據(jù)格式對(duì)應(yīng)的數(shù)據(jù)；及