[實用新型]一種多源數據轉換服務裝置

有效

• 申請號: 200720198733.6
• 申請日: 2007-11-30
• 公開（公告）號: CN201117007Y
• 公開（公告）日: 2008-09-17
• 發明（設計）人: 王治華;李瑞慶;劉敦楠;何光宇;陳雪青
• 申請（專利權）人: 上海市電力公司;清華大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 上海兆豐知識產權代理事務所
• 代理人: 章蔚強

技術領域

本實用新型涉及一種高級應用系統(如決策支持、數據挖掘、報表統計等系統)與基本業務系統(如進、銷、存系統，管理信息系統，辦公自動化系統)之間的數據交換技術，尤其涉及電力、電信、金融、航空、零售等行業系統信息化管理中用以提高數據轉換的效率、降低高級應用系統的開發維護成本、節約硬件和網絡資源的多源數據轉換服務裝置。

背景技術

當前，電力系統的調度通信中心，已建立了以能量管理系統EMS(EnergyManagement?System)、調度信息管理系統DMIS(Dispatching?Management?InformationSystem)、電力市場運營系統等為代表的基本業務系統。除了這些基本業務系統，電力系統的調度通信中心(簡稱：電力調度中心)各個部門為了滿足具體的工作需要，還需在以上基本業務系統的基礎上，針對特定需求建立一些較為高級的應用系統，如可視化監視系統、模擬仿真系統、數據分析系統、報表系統、數據挖掘系統等。這些高級應用系統所需的數據，往往源自一個或多個基本業務系統。因此，在建立高級應用系統的過程中，如何從多個基本業務系統采集、清洗、轉換數據，即數據集成工作，是一個必須解決的問題。

參見圖1，一方面，如前所述的基本業務系統，是針對不同部門的業務需求，如，能量管理系統、調度信息系統、電力市場運營系統和其它業務系統，均由不同的開發單位獨立研制建立的。因此，各系統數據庫系統的類型、數據表的格式、數據采集的周期等均不相同。這一情況，給高級應用系統的數據集成工作，造成了困難，例如：

1)多個數據源之間數據格式不統一，增加高級應用系統的開發難度；

2)高級應用系統服務器需要配置適用于不同數據庫類型的數據驅動程序，占用系統資源，增加系統負擔；

3)應用程序的數據導入工作，占用系統資源，影響系統運行效率；

4)多個數據源中，均不同程度的存在數據遺漏和壞數據問題，降低了高級應用程序的運行穩定性。

參見圖2，另一方面，由于各個高級應用系統也是由各個業務部門根據實際需要先后提出并獨立開發的，因此，每個高級應用系統均獨立進行多數據源的數據導入、清洗和轉換工作。

對于高級應用系統的開發和運行存在以下問題：

1)每一個高級應用程序都需要準備各類數據源的數據驅動程序，數據驅動的安裝、更新和維護工作必須由高級應用系統負責。驅動程序本身的安裝會占用系統服務器的資源，驅動程序的運行和版本沖突，會對降低高級應用程序的運行穩定性。

2)每一個高級應用程序在開發時都需要收集并理解各個業務系統的數據庫結構，數據表格式，甚至各個原始參數的含義，以便讀懂該業務數據庫并導出所需數據，增加了高級應用程序的開發工作量。

3)每一個高級應用程序都需要對各個業務數據的壞數據進行清理和轉換，壞數據往往是在極特殊條件下出現的，實際中，高級應用系統往往沒有足夠的預算和精力專門對各個業務系統的壞數據進行專門的研究并建立對策，因此難以避免受到壞數據的影響而降低系統運行的穩定性。如果專門深入的研究并處理各個業務系統的壞數據，又會大大增加高級應用系統的開發成本。

由于各基本業務系統和各高級應用系統都是分別、獨立進行設計、開發，分別負責各自的更新、升級和維護工作，沒有統一的協調管理，還會帶來以下的問題：

1)重復開發問題

每一個高級應用系統，為了獲取各個業務系統的數據，都需要進行完整的數據導入、清洗和整理工作。在實際中，這些數據處理工作往往在高級應用系統開發周期中占有很大比例，增加了開發成本。不同的高級應用程序，都先后完成同一類型的工作，這些重復性的勞動本身并不簡單，如果不投入足夠成本，則無法保證質量，投入成本則造成資源浪費。

2)資源浪費和運行效率問題

在實際中，各個高級應用程序都是獨立立項、獨立預算的。假如高級應用系統本身需要運行在1臺服務器上，如果不額外增加預算，那么數據集成工作也需在同一臺服務器下運行。高級應用系統的運行勢必收到數據集成工作的影響而降低效率。如果額外配置另一臺服務器，則會造成較大的資源浪費。

3)維護成本的增加