[發明專利]一種基于FREEMARKER模板的數據采集系統及采集方法

在審

• 申請號: 201811433579.5
• 申請日: 2018-11-28
• 公開（公告）號: CN109684100A
• 公開（公告）日: 2019-04-26
• 發明（設計）人: 高春虎
• 申請（專利權）人: 陜西天誠軟件有限公司
• 主分類號: G06F9/54
• 分類號: G06F9/54;G06F8/71
• 代理公司: 北京科億知識產權代理事務所(普通合伙) 11350
• 代理人: 湯東鳳

本發明具體涉及一種基于FREEMARKER模板的數據采集系統及采集方法，本發明通過將性能數據采集的任務分類配置成多個任務隊列，然后根據任務隊列配置采集模板，當需要采集性能數據時，直接將各種數據采集任務隊列與采集模板相匹配，可以確定唯一一個采集模板，并根據采集模板進行性能數據的采集，達到了將多種來源的數據和多種格式的數據快速分類并進行采集的效果，提高了性能數據采集的效率，降低了工作量，為后續工作提供了有力的數據支持。

技術領域

本發明屬于計算機數據采集技術領域，具體涉及一種基于FREEMARKER模板的數據采集系統及采集方法。

背景技術

FreeMarker是一款模板引擎：即一種基于模板和要改變的數據，并用來生成輸出文本(HTML網頁、電子郵件、配置文件、源代碼等)的通用工具。它不是面向最終用戶的，而是一個Java類庫，是一款程序員可以嵌入他們所開發產品的組件，模板和數據模型是FreeMarker來生成輸出所必須的組成部分。

在當前一個大數據信息時代，我們可能要提前從各種渠道獲取跟用戶相關的數據信息；比如對于網站來說我們需要知道用戶的登錄信息，訪問信息，購買的商品信息，看過的商品信息還有其它跟用戶相關的信息，大數據時代會根據用戶的這些行為習慣數據進行統計，分析出用戶的行為習慣，可以提前預測用戶需要購買的商品，我們可以將該類商品可以提前存儲發貨。但是該類行為數據采集來源眾多，且來源數據格式不一，不同的數據源格式需要用復雜的程序來分別進行采集和匯總，不能進行統一適配和匯總。

發明內容

為了解決現有技術中存在的多種數據源格式的數據不能進行統一采集和匯總的問題，本發明提供了一種基于FREEMARKER模板的數據采集系統及采集方法，達到了高效采集多種來源和格式的數據的效果。本發明要解決的技術問題通過以下技術方案實現：

一種基于FREEMARKER模板的數據采集系統，該系統包括：

第一配置模塊，用于將性能數據采集任務配置為多個任務隊列，任務隊列中包括采集性能數據所需的采集參數；

第二配置模塊，用于根據每個任務隊列中的采集參數配置采集模板，采集模板中包括與采集參數對應的采集配置信息、與采集配置信息對應的數據源的地址信息以及用于將采集的性能數據格式化為自定義的JAVA BEAN信息的處理子模塊；

執行模塊，用于根據所述數據源的地址信息以及所述采集配置信息進行性能數據的采集；

調度模塊，用于調度所述處理子模塊；

存儲模塊，用于將所述處理子模塊處理完成的數據進行系統多線程處理后插入數據庫。

進一步的，所述的采集參數包括第一數據源類型的標識、第一數據源的請求方法、第一數據源接口協議信息、全量采集周期和增量采集周期。

進一步的，所述采集配置信息為第二數據源類型的標識、第二數據源接口協議信息以及第二數據源的請求方法；

所述數據源的地址信息為第二接口協議信息的接口地址信息和攜帶參數；

所述處理子模塊用于將采集的性能數據封裝為自定義格式的封裝數據，并將封裝數據格式化為自定義的JAVA BEAN信息。

進一步的，所述執行模塊包括：

執行子模塊：用于根據所述全量采集周期和增量采集周期，通過所述第二數據源接口協議信息、第二數據源的請求方法以及第二接口協議信息的接口地址信息和攜帶參數進行性能數據的周期性采集。

進一步的，所述處理子模塊包括：

前置插件，用于將采集到的性能數據中含有的特殊字符進行替換或刪除；