[發(fā)明專利]數(shù)據(jù)傳輸方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201310145523.0
• 申請日: 2013-04-24
• 公開（公告）號: CN103258016A
• 公開（公告）日: 2013-08-21
• 發(fā)明（設計）人: 李守鵬;車帥;劉民;溫尚卓
• 申請（專利權(quán)）人: 山東中創(chuàng)軟件工程股份有限公司;山東中創(chuàng)軟件商用中間件股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 王寶筠

技術領域

本發(fā)明涉及數(shù)據(jù)傳輸技術領域，特別是涉及一種數(shù)據(jù)傳輸方法及系統(tǒng)。

背景技術

目前，在復雜的分布式環(huán)境中，不同數(shù)據(jù)庫通過數(shù)據(jù)集成總線實現(xiàn)數(shù)據(jù)的傳輸交換，并最終達到數(shù)據(jù)集成，以此解決數(shù)據(jù)的分布性和異構(gòu)性的問題。

申請人經(jīng)過研究發(fā)現(xiàn)，在數(shù)據(jù)集成的過程中，由于某些客觀原因，不同數(shù)據(jù)庫之間在傳輸數(shù)據(jù)時會存在一些問題。例如，在具有若干端點的分布式系統(tǒng)中，當將數(shù)據(jù)從第一端點的數(shù)據(jù)表傳輸?shù)降诙它c的數(shù)據(jù)表時，需要直接操作該第一端點的數(shù)據(jù)表，在操作的過程中，由于網(wǎng)絡的差異性、抖動性和數(shù)據(jù)庫存儲的穩(wěn)定性，可能造成數(shù)據(jù)表中數(shù)據(jù)的丟失，從而降低了數(shù)據(jù)傳輸?shù)目煽啃浴?/p>

發(fā)明內(nèi)容

為解決解決數(shù)據(jù)傳輸?shù)倪^程中，由于某些客觀原因可能造成數(shù)據(jù)源表中數(shù)據(jù)丟失的問題，本發(fā)明實施例提供了一種數(shù)據(jù)傳輸方法及系統(tǒng)，以提高數(shù)據(jù)傳輸?shù)目煽啃裕夹g方案如下：

一種數(shù)據(jù)傳輸方法，預先創(chuàng)建與第一端點中的數(shù)據(jù)源表相對應的映射表；所述映射表中的映射數(shù)據(jù)與所述數(shù)據(jù)源表中的源數(shù)據(jù)一一對應，且隨所述數(shù)據(jù)源表中源數(shù)據(jù)的更新而更新；所述方法包括：

在第一預設時間間隔內(nèi)，依次遍歷所述映射表中各個映射數(shù)據(jù)的數(shù)據(jù)標識，以確定出未向第二端點傳輸?shù)挠成鋽?shù)據(jù)；所述數(shù)據(jù)標識用于表征與之相對應的映射數(shù)據(jù)是否未向第二端點進行傳輸；

將所述未向第二端點傳輸?shù)挠成鋽?shù)據(jù)作為目標映射數(shù)據(jù)，并將所述目標映射數(shù)據(jù)向所述第二端點進行傳輸，并重置所述目標映射數(shù)據(jù)的數(shù)據(jù)標識，以表明所述目標映射數(shù)據(jù)已向所述第二端點進行傳輸。

優(yōu)選的，所述數(shù)據(jù)標識對應設置有第一狀態(tài)標識位和第二狀態(tài)標識位；

其中：

所述第一狀態(tài)標識位用于表征與所述數(shù)據(jù)標識相對應的映射數(shù)據(jù)已向所述第二端點進行傳輸；

所述第二狀態(tài)標識位用于表征與所述數(shù)據(jù)標識相對應的映射數(shù)據(jù)未向所述第二端點進行傳輸。

優(yōu)選的，所述方法還包括：

獲取所述第二端點中各個數(shù)據(jù)所對應的數(shù)據(jù)主鍵；

將數(shù)據(jù)標識處于第一狀態(tài)標識位的映射數(shù)據(jù)的主鍵逐一與所述第二端點中的各個數(shù)據(jù)主鍵進行匹配；

將未匹配成功的主鍵所對應的映射數(shù)據(jù)的數(shù)據(jù)標識由第一狀態(tài)標識位重置為第二狀態(tài)標識位。

優(yōu)選的，按照將所述目標映射數(shù)據(jù)向所述第二端點進行傳輸?shù)臄?shù)據(jù)傳輸順序，依次獲取所述第二端點中各個數(shù)據(jù)對應的數(shù)據(jù)主鍵；所述將數(shù)據(jù)標識處于第一狀態(tài)標識位的映射數(shù)據(jù)的主鍵逐一與所述第二端點中的各個數(shù)據(jù)主鍵進行匹配，包括：

分別將所述第二端點中的數(shù)據(jù)主鍵與所述數(shù)據(jù)標識處于第一狀態(tài)標識位的映射數(shù)據(jù)的主鍵按同一原則分成n組，其中，n≥1且n為整數(shù)；

依次比較第k組中的第二端點中的數(shù)據(jù)主鍵的個數(shù)與所述映射數(shù)據(jù)的主鍵的個數(shù)是否相等，如果是，則比較下一組；如果否，則將該組中所述映射數(shù)據(jù)的主鍵逐一與所述第二端點中的數(shù)據(jù)主鍵進行匹配，其中，1≤k≤n，且k為整數(shù)。

一種數(shù)據(jù)傳輸系統(tǒng)，預先創(chuàng)建映射表創(chuàng)建模塊，所述映射表創(chuàng)建模塊用于創(chuàng)建與第一端點中的數(shù)據(jù)源表相對應的映射表；所述映射表中的映射數(shù)據(jù)與所述數(shù)據(jù)源表中的源數(shù)據(jù)一一對應，且隨所述數(shù)據(jù)源表中源數(shù)據(jù)的更新而更新；所述系統(tǒng)包括：

數(shù)據(jù)標識遍歷模塊，用于在第一預設時間間隔內(nèi)，依次遍歷所述映射表中各個映射數(shù)據(jù)的數(shù)據(jù)標識，以確定出未向第二端點傳輸?shù)挠成鋽?shù)據(jù)；所述數(shù)據(jù)標識用于表征與之相對應的映射數(shù)據(jù)是否未向第二端點進行傳輸；

數(shù)據(jù)傳輸模塊，用于將所述未向第二端點傳輸?shù)挠成鋽?shù)據(jù)作為目標映射數(shù)據(jù)，并將所述目標映射數(shù)據(jù)向所述第二端點進行傳輸，并重置所述目標映射數(shù)據(jù)的數(shù)據(jù)標識，以表明所述目標映射數(shù)據(jù)已向所述第二端點進行傳輸。

優(yōu)選的，所述數(shù)據(jù)標識遍歷模塊中設置有第一狀態(tài)標識位模塊和第二狀態(tài)標識位模塊；

其中：

所述第一狀態(tài)標識模塊中設置有所述數(shù)據(jù)標識的第一狀態(tài)標識位，該第一狀態(tài)標識位用于表征與所述數(shù)據(jù)標識相對應的映射數(shù)據(jù)已向所述第二端點進行傳輸；

所述第二狀態(tài)標識模塊中設置有所述數(shù)據(jù)標識的第二狀態(tài)標識位，該第二狀態(tài)標識位用于表征與所述數(shù)據(jù)標識相對應的映射數(shù)據(jù)未向所述第二端點進行傳輸。

優(yōu)選的，所述系統(tǒng)還包括：

數(shù)據(jù)主鍵獲取模塊，用于獲取所述第二端點中各個數(shù)據(jù)所對應的數(shù)據(jù)主鍵；

匹配模塊，用于將數(shù)據(jù)標識處于第一狀態(tài)標識位的映射數(shù)據(jù)的主鍵逐一與所述第二端點中的各個數(shù)據(jù)主鍵進行匹配；