[發(fā)明專利]一種數(shù)據(jù)庫數(shù)據(jù)傳輸方法與裝置

有效

• 申請?zhí)枺?/td>: 201611235732.4
• 申請日: 2016-12-28
• 公開（公告）號: CN106649788B
• 公開（公告）日: 2020-12-08
• 發(fā)明（設(shè)計）人: 姚賢達(dá);黨拓;顏燮;趙烜
• 申請（專利權(quán)）人: 深圳啟潤德科技有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27
• 代理公司: 北京國昊天誠知識產(chǎn)權(quán)代理有限公司 11315
• 代理人: 李瀟

1.一種數(shù)據(jù)庫數(shù)據(jù)傳輸方法，其特征在于，所述方法包括：

通過讀取插件讀取源數(shù)據(jù)庫中的待傳輸數(shù)據(jù)并轉(zhuǎn)換成中間數(shù)據(jù)格式的數(shù)據(jù)；

通過數(shù)據(jù)隧道將所述中間數(shù)據(jù)格式的數(shù)據(jù)發(fā)送給寫入插件；

通過所述寫入插件將所述寫入插件接收到的所述中間數(shù)據(jù)格式的數(shù)據(jù)轉(zhuǎn)換成目標(biāo)數(shù)據(jù)格式的數(shù)據(jù)并寫入目標(biāo)數(shù)據(jù)庫，

其中，通過數(shù)據(jù)隧道將所述中間數(shù)據(jù)格式的數(shù)據(jù)發(fā)送給寫入插件，包括：當(dāng)通過所述讀取插件讀取并轉(zhuǎn)換的待傳輸數(shù)據(jù)的數(shù)量不小于第一預(yù)設(shè)閾值時，通過所述數(shù)據(jù)隧道將所述中間數(shù)據(jù)格式的數(shù)據(jù)發(fā)送給所述寫入插件；

其中，通過讀取插件讀取源數(shù)據(jù)庫中的待傳輸數(shù)據(jù)并轉(zhuǎn)換成中間數(shù)據(jù)格式的數(shù)據(jù)之前，所述方法還包括：獲取所述源數(shù)據(jù)庫的類型；則根據(jù)所述源數(shù)據(jù)庫的類型，確定出與所述源數(shù)據(jù)庫的類型對應(yīng)的讀取插件，其中，所述讀取插件中包括所述源數(shù)據(jù)庫的字段類型與中間數(shù)據(jù)格式的對應(yīng)關(guān)系；或者根據(jù)所述源數(shù)據(jù)庫的類型，確定所述讀取插件中所述源數(shù)據(jù)庫的字段類型與中間數(shù)據(jù)格式的對應(yīng)關(guān)系；

其中，通過讀取插件讀取源數(shù)據(jù)庫中的待傳輸數(shù)據(jù)并轉(zhuǎn)換成中間數(shù)據(jù)格式的數(shù)據(jù)，包括：通過所述讀取插件讀取所述源數(shù)據(jù)庫中的待傳輸數(shù)據(jù)；根據(jù)所述源數(shù)據(jù)庫的字段類型與中間數(shù)據(jù)格式的對應(yīng)關(guān)系，將所述待傳輸數(shù)據(jù)中第一表格的第一字段的數(shù)據(jù)轉(zhuǎn)換成所述第一字段對應(yīng)的中間數(shù)據(jù)格式的數(shù)據(jù)，其中，所述第一表格是所述待傳輸數(shù)據(jù)中任意一個待傳輸?shù)谋砀瘢龅谝蛔侄问撬龅谝槐砀裰腥我庖粋€待傳輸字段；

其中，通過數(shù)據(jù)隧道將所述中間數(shù)據(jù)格式的數(shù)據(jù)發(fā)送給寫入插件之前，所述方法還包括：獲取所述目標(biāo)數(shù)據(jù)庫的類型；則根據(jù)所述目標(biāo)數(shù)據(jù)庫的類型，確定出與所述目標(biāo)數(shù)據(jù)庫的類型對應(yīng)的寫入插件，其中，所述寫入插件中包括所述目標(biāo)數(shù)據(jù)庫的字段類型與中間數(shù)據(jù)格式的對應(yīng)關(guān)系；或者根據(jù)所述目標(biāo)數(shù)據(jù)庫的類型，確定所述寫入插件中所述目標(biāo)數(shù)據(jù)庫的字段類型與中間數(shù)據(jù)格式的對應(yīng)關(guān)系；

其中，通過所述寫入插件將所述寫入插件接收到的所述中間數(shù)據(jù)格式的數(shù)據(jù)轉(zhuǎn)換成目標(biāo)數(shù)據(jù)格式的數(shù)據(jù)并寫入目標(biāo)數(shù)據(jù)庫，包括：根據(jù)所述目標(biāo)數(shù)據(jù)庫的字段類型與中間數(shù)據(jù)格式的對應(yīng)關(guān)系，通過所述寫入插件將所述寫入插件接收到的所述第一字段對應(yīng)的中間數(shù)據(jù)格式的數(shù)據(jù)轉(zhuǎn)換成所述第一字段對應(yīng)的目標(biāo)數(shù)據(jù)格式的數(shù)據(jù)，并寫入所述第一表格在所述目標(biāo)數(shù)據(jù)庫對應(yīng)的表格中所述第一字段對應(yīng)的字段。

2.如權(quán)利要求1所述的方法，其特征在于，通過所述寫入插件將所述中間數(shù)據(jù)格式的數(shù)據(jù)轉(zhuǎn)換成目標(biāo)數(shù)據(jù)格式的數(shù)據(jù)并寫入目標(biāo)數(shù)據(jù)庫，包括：

當(dāng)所述寫入插件轉(zhuǎn)換的中間數(shù)據(jù)格式的數(shù)據(jù)的數(shù)量不小于第二預(yù)設(shè)閾值時，通過所述寫入插件將所述中間數(shù)據(jù)格式的數(shù)據(jù)轉(zhuǎn)換成目標(biāo)數(shù)據(jù)格式的數(shù)據(jù)并寫入所述目標(biāo)數(shù)據(jù)庫。

3.如權(quán)利要求1所述的方法，其特征在于，通過讀取插件讀取源數(shù)據(jù)庫中的待傳輸數(shù)據(jù)并轉(zhuǎn)換成中間數(shù)據(jù)格式的數(shù)據(jù)，包括：

通過所述讀取插件讀取所述源數(shù)據(jù)庫中的待傳輸數(shù)據(jù)；

將所述待傳輸數(shù)據(jù)按照表格劃分為多個傳輸任務(wù)讀取并轉(zhuǎn)換為對應(yīng)的中間數(shù)據(jù)格式的數(shù)據(jù)；或者

將所述待傳輸數(shù)據(jù)中一個表格的待傳輸數(shù)據(jù)劃分為多個傳輸任務(wù)讀取并轉(zhuǎn)換為對應(yīng)的中間數(shù)據(jù)格式的數(shù)據(jù)。

4.如權(quán)利要求3所述的方法，其特征在于，通過數(shù)據(jù)隧道將所述中間數(shù)據(jù)格式的數(shù)據(jù)發(fā)送給寫入插件，包括：

將每個所述傳輸任務(wù)讀取并轉(zhuǎn)換的中間數(shù)據(jù)格式的數(shù)據(jù)通過所述傳輸任務(wù)對應(yīng)的數(shù)據(jù)隧道發(fā)送給所述寫入插件。

5.如權(quán)利要求3或4所述的方法，其特征在于，通過所述寫入插件將所述寫入插件接收到的所述中間數(shù)據(jù)格式的數(shù)據(jù)轉(zhuǎn)換成目標(biāo)數(shù)據(jù)格式的數(shù)據(jù)并寫入目標(biāo)數(shù)據(jù)庫，包括：

通過所述寫入插件將所述寫入插件接收到的所述中間數(shù)據(jù)格式的數(shù)據(jù)按照所述傳輸任務(wù)分別轉(zhuǎn)換成目標(biāo)數(shù)據(jù)格式的數(shù)據(jù)并寫入所述目標(biāo)數(shù)據(jù)庫。

6.如權(quán)利要求3所述的方法，其特征在于，所述方法還包括：

若在將所述多個傳輸任務(wù)中的第一傳輸任務(wù)讀取并轉(zhuǎn)換為對應(yīng)的中間數(shù)據(jù)格式的數(shù)據(jù)時讀取失敗，則在所述第一傳輸任務(wù)中對所述第一傳輸任務(wù)所需要讀取的待傳輸數(shù)據(jù)進(jìn)行重新讀取并轉(zhuǎn)換為對應(yīng)的中間數(shù)據(jù)格式的數(shù)據(jù)。