[發明專利]一種支持海量數據導出的方法

有效

• 申請號: 201410051176.X
• 申請日: 2014-02-14
• 公開（公告）號: CN103793519B
• 公開（公告）日: 2018-04-06
• 發明（設計）人: 邱建波
• 申請（專利權）人: 浪潮天元通信信息系統有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 濟南信達專利事務所有限公司37100
• 代理人: 姜明

技術領域

本發明涉及一種計算機應用技術領域,具體地說是一種支持海量數據導出的方法。

背景技術

在移動通信中，綜合資源管理系統作為網管系統的基礎數據來源，需要對各種系統做各種數據接口。并且為了保證數據的準確性，需要對入網和存量的數據進行流程管控。

但是，隨著管理的專業越來越多，數據越來越大，傳統的對外數據提供和導出方式已經不適合目前的數據規模。

傳統的數據導出，效率比較低下，配置繁瑣，沒有引入多進程和自動化，人工配置和人肉操作過多，并且對新需求和維護需要投入大量的工作。

在維護上，傳統的代碼都是面向過程的，代碼可讀性，可維護性，可復用性低下?，F在通過對各種操作進行封裝，使得代碼清晰、簡潔，可復用性、可讀性、可維護性大幅提升。原來需要3個人做的維護，現在一個人就可以完成。

發明內容

本發明的目的是提供一種支持海量數據導出的方法。

本發明的目的是按以下方式實現的，通過perl,sh實現，使用perl面向對象編程對各種操作封裝，通過讀配置文件或者讀系統對象模型屬性表來獲取相關表的字段和翻譯信息。引入多線程和sql查詢語句分頁快速導出數據并進行翻譯。并且生成各種特定的excel格式。

本發明所要解決的問題是提供一種方法能最快的導出相關聯的數據，并生成指定格式。因代碼是通過面向對象編寫，對常用操作都進行了封裝，使得后續開發速度大幅提升，并且維護簡單。

本發明技術方案如下：

1.1維護一個關聯關系配置文件或配置導出模型相關的xml配置文件，包含相關數據的中英文字段；

1.2每個配置文件一個結構體里描敘了對象模型自身和上下級的關系

1.3根據傳入的參數初始化系統導出方式包括：A站點關聯導出；B對象模型分頁導出；C導出xm配置數據。

A順序讀取xml關系配置文件，對每個ConfigClass數據經過處理生成相應的導出sql語句和屬性字段，根據配置判斷是否插入下級關聯關系；B導出系統默認查詢或者修改模版,生成導出sql語句；C順序讀取xml對象模型配置文件，對每個ConfigClass數據經過處理生成相應的導出sql語句和屬性字段；

1.4執行生成的sql分頁語句

1.5將導出的數據根據屬性信息進行翻譯生成相應的文件。

步驟1.4中的sql分頁語句和函數翻譯是動態生成的。

步驟1.4A中的關聯關系配置是可擴展的，每個對象模型可以有多個上級，也可以存在多個下級；

步驟1.4B中的默認查詢或者模版是實時從數據庫讀獲取，任何情況下導出都是最新模版數據；

步驟1.4C中的xml導出配置是可多線程分頁導出，能在短的時間內導出各個專業數據，特別是數據量特別大的表，效果顯著，可靈活定義線程數和頁面大小。

在本發明中，定義一個對象模型名稱，具有唯一性特征，說明數據的來源。

本發明的目的有益效果是：采用本發明所述方法，與現有技術相比，可以實現快速導出相關接口數據，并且快速導出關聯數據或者單個數據。由于本發明采用了根據配置文件，多線程分頁導出資源數據，分頁依靠的是sql查詢分頁，翻譯用的是系統配置生成的動態函數，也可人工編寫函數翻譯。與傳統方式相比維護和執行效率上有大幅提升。但是對于大數據量的導出和翻譯上面應該還有提升的空間。因為是多線程導出對系統的內存和數據庫連接的使用較大。一般情況下開5-10個進程，每10萬數據一個文件。

附圖說明

圖1是海量數據導出導出的各個模塊的處理執行流程和處理過程圖；

圖2是當模型增加修改和需求調整需要做的調整流程圖。

圖3是站點導出配置表屏幕截圖；

圖4是帶鏈接excel統計表屏幕截圖；

圖5是sql語句和中英字段屏幕截圖；

圖6是導出結果屏幕截圖；

圖7是多線程導出成標準的xml屏幕截圖。

具體實施方式

分別對站點導出，xml配置導出，對象模型導出做相關配置介紹。

A:站點導出配置情況如圖3所示；

對于站點導出的配置文件有如下相關屬性

#對象模型名稱|分頁字段|關連字段|關聯字段ID|是否有下級資源|作為下級資源編號|關聯字段類型|導出excel表頭

其中對象模型必須唯一