[發(fā)明專利]一種基于模板配置的多數(shù)據(jù)源數(shù)據(jù)導(dǎo)出系統(tǒng)及方法

在審

• 申請?zhí)枺?/td>: 202010586342.1
• 申請日: 2020-06-24
• 公開（公告）號: CN111858727A
• 公開（公告）日: 2020-10-30
• 發(fā)明（設(shè)計）人: 林曉俊;黃光明
• 申請（專利權(quán)）人: 金財互聯(lián)數(shù)據(jù)服務(wù)有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 郭浩輝;麥小嬋

1.一種基于模板配置的多數(shù)據(jù)源數(shù)據(jù)導(dǎo)出系統(tǒng)，其特征在于，包括：導(dǎo)出表達式校驗?zāi)K、數(shù)據(jù)源加載處理模塊和數(shù)據(jù)導(dǎo)出處理模塊；

所述導(dǎo)出表達式校驗?zāi)K用于獲取導(dǎo)出任務(wù)表達式，并對所述導(dǎo)出任務(wù)表達式進行解析校驗處理，得到校驗正確的JSON表達式；

所述數(shù)據(jù)源加載處理模塊用于對所述JSON表達式進行解析，導(dǎo)出所述JSON表達式中的數(shù)據(jù)源配置，并對各數(shù)據(jù)源數(shù)據(jù)進行加載合并，得到總數(shù)據(jù)變量；

所述數(shù)據(jù)導(dǎo)出處理模塊用于對所述總數(shù)據(jù)變量進行導(dǎo)出，生成導(dǎo)出的Excel文件。

2.如權(quán)利要求1所述的基于模板配置的多數(shù)據(jù)源數(shù)據(jù)導(dǎo)出系統(tǒng)，其特征在于，所述導(dǎo)出表達式校驗?zāi)K包括：

表達式解析單元，用于獲取導(dǎo)出任務(wù)表達式，對所述導(dǎo)出任務(wù)表達式進行解析后儲存到數(shù)據(jù)結(jié)構(gòu)中；

ID校驗單元，用于對所述數(shù)據(jù)結(jié)構(gòu)中的ID數(shù)據(jù)進行校驗；

模板校驗單元，用于對所述數(shù)據(jù)結(jié)構(gòu)中的導(dǎo)出模板ID數(shù)據(jù)進行校驗；

數(shù)據(jù)校驗單元，用于對所述數(shù)據(jù)結(jié)構(gòu)中的shhets數(shù)據(jù)進行校驗。

3.如權(quán)利要求2所述的基于模板配置的多數(shù)據(jù)源數(shù)據(jù)導(dǎo)出系統(tǒng)，其特征在于，所述數(shù)據(jù)源加載處理模塊包括：

數(shù)據(jù)源類型判斷單元，用于在接收到導(dǎo)出任務(wù)處理指令后，讀取與所述導(dǎo)出任務(wù)相關(guān)聯(lián)的JSON表達式，通過對JSON表達式進行解析后得到所有的數(shù)據(jù)源信息，并對所述數(shù)據(jù)源信息的數(shù)據(jù)源類型進行判斷，并發(fā)處理獲取各個數(shù)據(jù)源返回的數(shù)據(jù)；

SQL數(shù)據(jù)源單元，用于當(dāng)所述數(shù)據(jù)源類型為SQL數(shù)據(jù)源時，判斷該SQL數(shù)據(jù)源的SQL格式是否正確合法，若不合法則跳過處理；若合法則連接到SQL關(guān)聯(lián)的數(shù)據(jù)庫連接池并執(zhí)行SQL，獲取到執(zhí)行結(jié)果數(shù)據(jù)并存儲為第一變量，直到所有SQL數(shù)據(jù)源執(zhí)行完畢；

接口數(shù)據(jù)源單元，用于當(dāng)所述數(shù)據(jù)源類型為接口數(shù)據(jù)源時，校驗所述接口數(shù)據(jù)源的接口地址格式是否符合http協(xié)議規(guī)范，以及校驗所述接口數(shù)據(jù)源的請求參數(shù)格式是否正確；若校驗不通過則跳過處理；若校驗通過則加載接口關(guān)聯(lián)的請求實現(xiàn)SDK包，通過SDK包請求接口，獲取返回的數(shù)據(jù)并存儲加載到第二變量，直到所有接口數(shù)據(jù)源執(zhí)行完畢；

固定值數(shù)據(jù)源單元，用于當(dāng)所述數(shù)據(jù)源類型為固定值數(shù)據(jù)源時，校驗所述固定值數(shù)據(jù)源的固定值參數(shù)格式是否正確，若不正確則跳過處理；若正確則將數(shù)據(jù)存儲加載到第三變量，直到所有固定值數(shù)據(jù)源執(zhí)行完畢；

數(shù)據(jù)變量合并單元，用于對所述第一變量、第二變量和第三變量進行合并處理，得到總數(shù)據(jù)變量。

4.如權(quán)利要求3所述的基于模板配置的多數(shù)據(jù)源數(shù)據(jù)導(dǎo)出系統(tǒng)，其特征在于，所述數(shù)據(jù)導(dǎo)出處理模塊包括：

切片處理單元，用于對所述總數(shù)據(jù)變量進行切片處理，得到多個切片數(shù)據(jù)；

導(dǎo)出文件單元，用于對各切片數(shù)據(jù)進行處理，生成各切片數(shù)據(jù)所對應(yīng)的Excel導(dǎo)出文件；

文件合并單元，用于將各切片所對應(yīng)的Excel導(dǎo)出文件進行合并生成最終的Excel文件，并將所述Excel文件儲存到OSS中，獲取下載URL地址信息；

狀態(tài)更新單元，用于生成導(dǎo)出任務(wù)狀態(tài)更新指令，保存生成的文件下載URL地址信息。

5.如權(quán)利要求4所述的基于模板配置的多數(shù)據(jù)源數(shù)據(jù)導(dǎo)出系統(tǒng)，其特征在于，還包括：導(dǎo)出任務(wù)發(fā)送與更新模塊；所述導(dǎo)出任務(wù)發(fā)送與更新模塊用于生成并發(fā)送導(dǎo)出任務(wù)處理指令，以及接收所述導(dǎo)出任務(wù)狀態(tài)更新指令并響應(yīng)所述導(dǎo)出任務(wù)狀態(tài)更新指令，對導(dǎo)出任務(wù)進行更新。

6.如權(quán)利要求4所述的基于模板配置的多數(shù)據(jù)源數(shù)據(jù)導(dǎo)出系統(tǒng)，其特征在于，還包括：導(dǎo)出模板管理模塊；所述導(dǎo)出模板管理模塊用于對導(dǎo)出模板文件的管理。

7.如權(quán)利要求4所述的基于模板配置的多數(shù)據(jù)源數(shù)據(jù)導(dǎo)出系統(tǒng)，其特征在于，還包括：導(dǎo)出任務(wù)管理模塊；所述導(dǎo)出任務(wù)管理模塊用于對所有的導(dǎo)出任務(wù)進行管理。