[發明專利]一種基于模型驅動架構的結構化數據樹形采集方法

有效

• 申請號: 201611111440.X
• 申請日: 2016-12-06
• 公開（公告）號: CN106776995B
• 公開（公告）日: 2020-08-28
• 發明（設計）人: 溫秋生;李穎;陳永輝
• 申請（專利權）人: 北京神舟航天軟件技術有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22
• 代理公司: 北京世譽鑫誠專利代理事務所(普通合伙) 11368
• 代理人: 孫國棟

本發明涉及一種基于MDA的結構化數據樹形采集技術，包括如下步驟：S1將業務對象及業務對象關系抽象化為結構化數據模型及模型關系；S2按照模型關系，以數據模型為節點構建一個或多個數據采集樹形；S3建立了數據采集樹根節點后，按照模型關系選擇相關的數據模型并將其逐級構建，最終形成符合業務需求的完整數據采集樹；S4依據業務場景對于數據的要求建立展現模型；S5將展現模型的記錄和數據采集樹上的類型進行映射；S6完成最終的數據采集定義，從而最終實現數據采集并按照的規范建立采集文件。由于提供了規范的數據接口，本發明可以方便的與第三方系統集成，實現采集數據的輸入輸出具有很強的可移植性和平臺無關性。

技術領域

本發明涉及一種數據采集技術，具體涉及一種基于模型驅動架構的結構化數據樹形采集方法。

背景技術

數據平臺一般都會包括數據采集、數據存儲、數據處理、數據展現幾個部分。隨著大數據概念逐漸升溫，對于數據采集的要求也越來越高。如何搭建一個能夠快速采集海量數據的架構體系以保證數據采集的可靠性、避免重復數據、提高數據質量成為數據平臺亟待解決的技術問題。本技術方案的目的是以模型驅動架構為基礎，對業務對象進行抽象形成結構化的數據模型，將業務對象之間的業務關聯性抽象為數據模型的關系，在數據平臺中以數據模型和模型關系存儲業務對象及相關數據，數據模型依據相互關系可以在系統中形成網狀數據結構。方案根據業務對象和業務邏輯將需要的數據模型從網狀結構中提取并形成數據模型樹形結構，根據業務需求場景抽象展現模型。在系統中以數據模型樹形結構和展現模型為基礎，通過配置的方式建立數據模型和展現模型的映射并根據業務場景定義采集規則并最終實現數據采集。本方案把數據平臺的數據以滿足業務場景需要的形式采集到展現模型中，采集的數據結果可以廣泛的應用于WEB頁面、數據統計分析、表格/報表、圖表/表單等各種數據展現。

當前信息系統對于業務數據的采集一般采用兩種方式：一是通過軟件編程的方式實現對于業務數據的采集要求。這種方式是在分析業務數據的采集需求的基礎上，通過程序人員的編碼來實現數據采集。另一種技術方式時通過在數據庫中編程并以事務或聯機事務的方式進行數據的采集。這種方式中，數據庫開發人員根據數據采集需求，編寫數據采集的功能代碼，應用程序開發人員以一定的方式調用數據庫事務或程序實現最終數據采集的目的。

以軟件編程方式實現數據采集的方式需要軟件技術人員以編碼的方式實現具體業務場景的數據采集要求，由于人員和技術的差異，數據采集功能在效率上的差異很大，面對海量業務數據的采集需求，往往表現出采集緩慢、穩定性不高、完整性差等問題。另外，當業務數據采集的需求發生變化或有新的業務數據采集需求時，程序員需要不斷修改程序或編寫新的代碼來滿足業務的要求，導致了巨大的人力資源需要和重復勞動。以數據庫事務實現數據采集的方式，提高了數據采集的效率，但需要技術人員在數據庫段進行大量的開發工作，并且隨著數據采集需求的變化，技術人員也必須時刻對編碼進行調整。以上技術從根本上都需要專業的技術人員進行大量的編碼工作來滿足數據采集的需求，其靈活性、穩定性、可靠性很大程度上依賴技術人員的能力水平，其易用性、可移植性、通用性都不能滿足千變萬化的業務數據采集需求。

發明內容

本發明的目的是針對現有技術中的不足，提供一種基于模型驅動架構的結構化數據樹形采集方法，通過配置采集規則，達到對海量數據的快捷、準確的采集要求。

為實現上述目的，本發明公開了如下技術方案：

一種基于模型驅動架構的結構化數據樹形采集方法，包括如下步驟：

S1將業務對象及業務對象關系抽象化為結構化數據模型及模型關系；

S2數據模型和模型關系構建完成后，業務數據以這種結構化的方式存儲在數據平臺中，為了在數據平臺中對存儲的結構化數據進行采集，按照模型關系，以數據模型為節點構建一個或多個數據采集樹形；