[發明專利]基于FTP協議的行業數據庫數據實時同步系統

在審

• 申請號: 201210460308.5
• 申請日: 2012-11-16
• 公開（公告）號: CN103823797A
• 公開（公告）日: 2014-05-28
• 發明（設計）人: 王衛民;符建輝;王石
• 申請（專利權）人: 鎮江諾尼基智能技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;H04L29/08
• 代理公司: 南京知識律師事務所 32207
• 代理人: 汪旭東

1.一種基于FTP協議的行業數據庫數據實時同步系統，其特征在于：包括增量數據導出工具模塊、增量數據導入工具模塊、FTP服務器、增量數據瀏覽工具模塊；

增量數據導出工具模塊，用于讀取數據庫增量信息，形成增量數據包，并存入配置好的FTP服務器，數據庫增量數據抽取“簡稱ETL”方式采用了觸發器方式；

增量數據導入工具模塊，用于從FTP服務器上獲取增量更新包文件并執行，將遺產系統所管理使用的數據同步增量更新到新系統；

增量數據瀏覽工具模塊，對增量SQL語句進行分析，顯示需要執行的新系統中的增量數據。

2.根據權利要求1所述的基于FTP協議的行業數據庫數據實時同步系統，其特征在于：所述的觸發器方式是根據抽取要求，在要被抽取的源表上建立插入、修改、刪除3個觸發器，每當源表中的數據發生變化，就被相應的觸發器將變化的數據寫入一個增量日志表，ETL的增量抽取則是從增量日志表中而不是直接在源表中抽取數據，同時增量日志表中抽取過的數據要及時被標記或刪除；增量日志表不存儲增量數據的所有字段信息，而只是存儲源表名稱、更新的關鍵字值和更新操作類型“knsen、update或delete“，ETL增量抽取進程首先根據源表名稱和更新的關鍵字值，從源表中提取對應的完整記錄，再根據更新操作類型，對目標表進行相應的處理。

3.根據權利要求1所述的基于FTP協議的行業數據庫數據實時同步系統，其特征在于：所述的增量數據導入工具模塊：①配置數據關聯規則；②從FTP服務器上獲取增量更新包；③執行增量更新包；④多線程執行保存在數據庫中的SQL語句；⑤從FTP服務器上刪除增量更新文件；完成遺產系統和新系統之間的增量數據同步，實現遺產系統與新系統之間的數據共享。

4.根據權利要求1或3所述的基于FTP協議的行業數據庫數據實時同步系統，其特征在于：所述的增量數據導入工具模塊由定時器啟動。

5.根據權利要求3所述的基于FTP協議的行業數據庫數據實時同步系統，其特征在于：所述的數據關聯規則配置文件為XML文件。

6.根據權利要求3所述的基于FTP協議的行業數據庫數據實時同步系統，其特征在于：所述的從FTP服務器上獲取增量更新包：

①增量數據導入工具向FTP代理類對象發送配置FTP服務器地址的消息，該消息只發送一次；

②增量數據導入工具主類向FTP代理類對象發送請求，判斷是否有新的增量更新包FTP文件，FTP代理類會向FTP服務器進行確認；

③如果有新的增量更新包FTP文件，則向FTP代理類發送獲取增量更新包文件的請求，并進入解析執行增量更新包的過程；如果沒有增量更新包，則休眠一段時間后，繼續步驟2。

7.根據權利要求3所述的基于FTP協議的行業數據庫數據實時同步系統，其特征在于：所述的執行增量更新包：

①使用JSON轉換器，將增量更新包文件轉換成增量數據實體類對象數組；

②使用增量數據實體解析器對每一個增量數據實體類對象進行解析，實現數據的增量更新；增量數據實體的解析：由數據關聯規則可得到源表所對應的目的表表名和目的表各個字段與源表的關系；增量數據實體解析器根據增量數據實體內容進行操作，如果Operate==D，則生成一條刪除語句，如果Operate==I，則生成一條插入語句，如果Operate=U，則生成一條更新語句；這些語句的綁定變量值，來自增量數據實體，或增量數據實體字段和目的表字段的函數；

③保存生成的SQL語句到數據庫中。

8.根據權利要求1所述的基于FTP協議的行業數據庫數據實時同步系統，其特征在于：所述的增量數據瀏覽工具模塊的顯示分兩級進行，首先實現增量更新表，然后顯示表中的增量更新數據。