[發(fā)明專利]一種基于共享數(shù)據(jù)平臺的數(shù)據(jù)處理方法

在審

• 申請?zhí)枺?/td>: 201310546028.0
• 申請日: 2013-11-06
• 公開（公告）號: CN103617585A
• 公開（公告）日: 2014-03-05
• 發(fā)明（設(shè)計(jì)）人: 黃健榮;鄒木春;黃玉健;黃騰;黃寄洪;李國偉;冀肖榆;李紅亮
• 申請（專利權(quán)）人: 梧州學(xué)院
• 主分類號: G06Q50/20
• 分類號: G06Q50/20;G06F17/30
• 代理公司: 廣州市越秀區(qū)海心聯(lián)合專利代理事務(wù)所(普通合伙) 44295
• 代理人: 黃為;蔡國

1.一種基于共享數(shù)據(jù)平臺的數(shù)據(jù)處理方法，包括源數(shù)據(jù)庫（10）、目標(biāo)共享數(shù)據(jù)庫（30）以及它們之間的交換中心處理器（20），其特征在于，其包括如下步驟，

1.1所述數(shù)據(jù)交換中心處理器（20）對源數(shù)據(jù)庫（10）中的數(shù)據(jù)進(jìn)行抽取、清洗并加載到目標(biāo)共享數(shù)據(jù)庫（30）中，該步驟1.1具體為：

S1數(shù)據(jù)交換中心處理器（20）連接源數(shù)據(jù)庫（10）；

S2數(shù)據(jù)交換中心處理器（20）抽取源數(shù)據(jù)庫（10）中的源數(shù)據(jù)；

S3數(shù)據(jù)交換中心處理器（20）根據(jù)CELTS-34高等學(xué)校管理信息標(biāo)準(zhǔn)轉(zhuǎn)換該源數(shù)據(jù)；

S4數(shù)據(jù)交換中心處理器（20）將轉(zhuǎn)換后的數(shù)據(jù)寫入目標(biāo)共享數(shù)據(jù)庫（30）；

1.2所述數(shù)據(jù)交換中心處理器（20）對目標(biāo)共享數(shù)據(jù)庫（30）中的數(shù)據(jù)訂閱到源數(shù)據(jù)庫（10），該步驟1.2具體為：

數(shù)據(jù)交換中心處理器（20）將目標(biāo)共享數(shù)據(jù)庫（30）中的數(shù)據(jù)按照使用數(shù)據(jù)的要求轉(zhuǎn)換成應(yīng)用系統(tǒng)的數(shù)據(jù)存儲格式后加載到源數(shù)據(jù)庫（10）中。

2.根據(jù)權(quán)利要求1所述的基于共享數(shù)據(jù)平臺的數(shù)據(jù)處理方法，其特征在于：

所述步驟S2中的數(shù)據(jù)交換中心處理器（20）對源數(shù)據(jù)庫（10）中的源數(shù)據(jù)的抽取為全量抽取，即數(shù)據(jù)交換中心處理器（20）將源數(shù)據(jù)庫（10）里的源數(shù)據(jù)讀取后按照規(guī)定格式寫入到目標(biāo)共享數(shù)據(jù)庫（30）中。

3.根據(jù)權(quán)利要求1所述的基于共享數(shù)據(jù)平臺的數(shù)據(jù)處理方法，其特征在于：

所述步驟S2中的數(shù)據(jù)交換中心處理器（20）對源數(shù)據(jù)庫（10）中的源數(shù)據(jù)的抽取為增量抽取，即數(shù)據(jù)交換中心處理器（20）獲取源數(shù)據(jù)庫（10）里的源數(shù)據(jù)中發(fā)生改變的數(shù)據(jù)后按照規(guī)定格式寫入到目標(biāo)共享數(shù)據(jù)庫（30）中。

4.根據(jù)權(quán)利要求3所述的基于共享數(shù)據(jù)平臺的數(shù)據(jù)處理方法，其特征在于：

所述增量抽取采用掃描時間截?cái)?shù)據(jù)法，具體為：數(shù)據(jù)交換中心處理器（20）對源數(shù)據(jù)庫（10）中含有更新時間的數(shù)據(jù)源，通過對比上次更新時間來判斷新增的數(shù)據(jù)，并將該新增的數(shù)據(jù)讀取后按照固定格式寫入到目標(biāo)共享數(shù)據(jù)庫（30）中。

5.根據(jù)權(quán)利要求3所述的基于共享數(shù)據(jù)平臺的數(shù)據(jù)處理方法，其特征在于：

所述增量抽取采用觸發(fā)器和數(shù)據(jù)的復(fù)制法，具體為：數(shù)據(jù)交換中心處理器（20）在源數(shù)據(jù)庫（10）中數(shù)據(jù)源的表上建立一觸發(fā)器，并將發(fā)生改變的記錄保存到一臨時表上，然后再從臨時表上定期抽取數(shù)據(jù)，并將該數(shù)據(jù)按照固定格式寫入到目標(biāo)共享數(shù)據(jù)庫（30）中。

6.根據(jù)權(quán)利要求3所述的基于共享數(shù)據(jù)平臺的數(shù)據(jù)處理方法，其特征在于：

所述增量抽取采用日志對比法，具體為：數(shù)據(jù)交換中心處理器（20）通過對源數(shù)據(jù)庫（10）的日志文件分析并獲取增量數(shù)據(jù)，再將該數(shù)據(jù)按照固定格式寫入到目標(biāo)共享數(shù)據(jù)庫（30）中。

7.根據(jù)權(quán)利要求3所述的基于共享數(shù)據(jù)平臺的數(shù)據(jù)處理方法，其特征在于：

所述增量抽取采用全表對比法，具體為：數(shù)據(jù)交換中心處理器（20）通過將源數(shù)據(jù)庫（10）與目標(biāo)共享數(shù)據(jù)庫（30）的記錄逐條對比判斷發(fā)生變化的數(shù)據(jù)，再將該數(shù)據(jù)按照固定格式寫入到目標(biāo)共享數(shù)據(jù)庫（30）中。

8.根據(jù)權(quán)利要求1所述的基于共享數(shù)據(jù)平臺的數(shù)據(jù)處理方法，其特征在于：所述數(shù)據(jù)交換中心處理器（20）對源數(shù)據(jù)庫（10）中的源數(shù)據(jù)的抽取采用定期自動抽取或手工抽取。

9.根據(jù)權(quán)利要求1-8任一項(xiàng)所述的基于共享數(shù)據(jù)平臺的數(shù)據(jù)處理方法，其特征在于：所述目標(biāo)共享數(shù)據(jù)庫（30）包括，

用于保存統(tǒng)一用戶認(rèn)證登錄所需的用戶名、密碼以及原有應(yīng)用系統(tǒng)中的用戶、密碼和系統(tǒng)名稱的用戶角色信息集（310）；

用于保存學(xué)生學(xué)籍信息的學(xué)生信息集（320）；

用于保存教職工的職工號、專業(yè)、學(xué)歷、職稱以及職務(wù)信息的教職工信息集（330）；

用于保存學(xué)生選課記錄、教師教學(xué)任務(wù)、課程表信息、學(xué)生成績信息以及調(diào)停課信息的教學(xué)信息集（340）；

用于保存教師的論文發(fā)表信息、項(xiàng)目信息以及獲獎信息的科研信息集（350）；

以及用于保存學(xué)生學(xué)費(fèi)繳納信息的財(cái)務(wù)信息集（360）。