[發(fā)明專利]一種基于FREEMARKER模板的數(shù)據(jù)采集系統(tǒng)及采集方法

在審

• 申請?zhí)枺?/td>: 201811433579.5
• 申請日: 2018-11-28
• 公開（公告）號: CN109684100A
• 公開（公告）日: 2019-04-26
• 發(fā)明（設(shè)計）人: 高春虎
• 申請（專利權(quán)）人: 陜西天誠軟件有限公司
• 主分類號: G06F9/54
• 分類號: G06F9/54;G06F8/71
• 代理公司: 北京科億知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11350
• 代理人: 湯東鳳

1.一種基于FREEMARKER模板的數(shù)據(jù)采集系統(tǒng)，其特征在于：該系統(tǒng)包括：

第一配置模塊，用于將性能數(shù)據(jù)采集任務(wù)配置為多個任務(wù)隊列，任務(wù)隊列中包括采集性能數(shù)據(jù)所需的采集參數(shù)；

第二配置模塊，用于根據(jù)每個任務(wù)隊列中的采集參數(shù)配置采集模板，采集模板中包括與采集參數(shù)對應(yīng)的采集配置信息、與采集配置信息對應(yīng)的數(shù)據(jù)源的地址信息以及用于將采集的性能數(shù)據(jù)格式化為自定義的JAVA BEAN信息的處理子模塊；

執(zhí)行模塊，用于根據(jù)所述數(shù)據(jù)源的地址信息以及所述采集配置信息進行性能數(shù)據(jù)的采集；

調(diào)度模塊，用于調(diào)度所述處理子模塊；

存儲模塊，用于將所述處理子模塊處理完成的數(shù)據(jù)進行系統(tǒng)多線程處理后插入數(shù)據(jù)庫。

2.根據(jù)權(quán)利要求1所述的一種基于FREEMARKER模板的數(shù)據(jù)采集系統(tǒng)，其特征在于：所述的采集參數(shù)包括第一數(shù)據(jù)源類型的標識、第一數(shù)據(jù)源的請求方法、第一數(shù)據(jù)源接口協(xié)議信息、全量采集周期和增量采集周期。

3.根據(jù)權(quán)利要求2所述的一種基于FREEMARKER模板的數(shù)據(jù)采集系統(tǒng)，其特征在于：所述采集配置信息為第二數(shù)據(jù)源類型的標識、第二數(shù)據(jù)源接口協(xié)議信息以及第二數(shù)據(jù)源的請求方法；

所述數(shù)據(jù)源的地址信息為第二接口協(xié)議信息的接口地址信息和攜帶參數(shù)；

所述處理子模塊用于將采集的性能數(shù)據(jù)封裝為自定義格式的封裝數(shù)據(jù)，并將封裝數(shù)據(jù)格式化為自定義的JAVA BEAN信息。

4.根據(jù)權(quán)利要求3所述的一種基于FREEMARKER模板的數(shù)據(jù)采集系統(tǒng)，其特征在于：所述執(zhí)行模塊包括：

執(zhí)行子模塊：用于根據(jù)所述全量采集周期和增量采集周期，通過所述第二數(shù)據(jù)源接口協(xié)議信息、第二數(shù)據(jù)源的請求方法以及第二接口協(xié)議信息的接口地址信息和攜帶參數(shù)進行性能數(shù)據(jù)的周期性采集。

5.根據(jù)權(quán)利要求3所述的一種基于FREEMARKER模板的數(shù)據(jù)采集系統(tǒng)，其特征在于：所述處理子模塊包括：

前置插件，用于將采集到的性能數(shù)據(jù)中含有的特殊字符進行替換或刪除；

封裝模塊，用于將前置插件處理后的數(shù)據(jù)封裝為自定義的封裝數(shù)據(jù)，并將封裝數(shù)據(jù)格式化為自定義的JAVA BEAN信息；

后置插件，用于將封裝數(shù)據(jù)的特殊字段進行替換或刪除。

6.根據(jù)權(quán)利要求1-5任一項所述的一種基于FREEMARKER模板的數(shù)據(jù)采集系統(tǒng)的采集方法，其特征在于：該方法包括以下步驟：

步驟S1，第一配置模塊將性能數(shù)據(jù)采集任務(wù)配置為多個任務(wù)隊列，任務(wù)隊列中包括采集性能數(shù)據(jù)所需的采集參數(shù)；

步驟S2，第二配置模塊根據(jù)每個任務(wù)隊列中的采集參數(shù)配置采集模板；

步驟S3，執(zhí)行模塊根據(jù)采集模板中的數(shù)據(jù)源的地址信息以及采集配置信息進行性能數(shù)據(jù)的采集；

步驟S4，調(diào)度模塊調(diào)度處理子模塊處理所采集的性能數(shù)據(jù)；

步驟S5，存儲模塊將處理子模塊處理完成的數(shù)據(jù)進行系統(tǒng)多線程處理后插入對應(yīng)的數(shù)據(jù)庫。

7.根據(jù)權(quán)利要求6所述的一種基于FREEMARKER模板的數(shù)據(jù)采集系統(tǒng)的采集方法，其特征在于：所述步驟S2的具體步驟為：第二配置模塊根據(jù)每個任務(wù)隊列中的第一數(shù)據(jù)源類型的標識、第一數(shù)據(jù)源的請求方法和第一數(shù)據(jù)源接口協(xié)議信息配置采集模板中的第二數(shù)據(jù)源類型的標識、第二數(shù)據(jù)源的請求方法、第二數(shù)據(jù)源接口協(xié)議信息以及與第二數(shù)據(jù)源接口協(xié)議信息對應(yīng)的數(shù)據(jù)源的地址信息和攜帶參數(shù)。

8.根據(jù)權(quán)利要求7所述的一種基于FREEMARKER模板的數(shù)據(jù)采集系統(tǒng)的采集方法，其特征在于：所述步驟S3的具體步驟為：執(zhí)行子模塊根據(jù)所述全量采集周期和增量采集周期，通過第二數(shù)據(jù)源接口協(xié)議信息、第二數(shù)據(jù)源的請求方法以及所述數(shù)據(jù)源的地址信息和攜帶參數(shù)進行性能數(shù)據(jù)的周期性采集。