[發明專利]數據采集方法、系統、電子設備和介質

在審

• 申請號: 202010213158.2
• 申請日: 2020-03-24
• 公開（公告）號: CN111459924A
• 公開（公告）日: 2020-07-28
• 發明（設計）人: 於幫兵;董宇;楊召遠
• 申請（專利權）人: 上海攜程商務有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/25;G06F16/955
• 代理公司: 上海弼興律師事務所 31283
• 代理人: 薛琦;張冉

1.一種數據采集方法，其特征在于，包括以下步驟：

獲取數據源的接口信息、拖拽業務需要的字段；

按照所述數據源的接口信息定制腳本；

配置所述拖拽業務需要的字段；

生成該數據源的ETL代碼；

運行所述ETL代碼以采集、清洗數據源的所述字段的數據，將結果輸出至數據庫保存。

2.如權利要求1所述的數據采集方法，其特征在于，所述數據采集方法還包括以下步驟：

通過AST構建語法；

解釋執行AST并執行相應的運行時組件和函數；

構建任務執行的任務樹以對任務執行計劃建模；

任務運行時保存上下文數據。

3.如權利要求1所述的數據采集方法，其特征在于，所述數據源的接口信息包括數據庫的URL；數據源和結果輸出的數據庫均支持Hermes、QMQ、MySQL、Hbase、HTTP、SFTP。

4.如權利要求1所述的數據采集方法，其特征在于，運行ETL代碼出現異常時，采用Hbase持久化異常點的數據和快照；定制簡單的腳本支持debug功能，回顯斷點處的參數。

5.如權利要求2所述的數據采集方法，其特征在于，所述構建任務執行的任務樹統計總的數據處理量；提供SDK擴展組件接口以便第三方定制并執行數據處理腳本。

6.一種數據采集系統，其特征在于，包括信息獲取單元、定制開發單元、數據處理單元、數據輸出單元；

所述信息獲取單元獲取數據源的接口信息、拖拽業務需要的字段；

所述定制開發單元按照所述數據源的接口信息定制腳本，配置所述拖拽業務需要的字段，生成該數據源的ETL代碼；

所述數據處理單元運行所述ETL代碼以采集、清洗數據源的相應字段的數據；

所述數據輸出單元將結果輸出至數據庫保存。

7.如權利要求6所述的數據采集系統，其特征在于，所述定制開發單元還包括構建語法單元、解釋執行單元、構建任務樹單元、上下文數據單元；

所述構建語法單元通過AST構建語法；

所述解釋執行單元解釋執行AST并執行相應的運行時組件和函數；

所述構建任務樹單元構建任務執行的任務樹以對任務執行計劃建模；

所述上下文數據單元在任務運行時保存上下文數據。

8.如權利要求6所述的數據采集系統，其特征在于，所述數據源的接口信息包括數據庫的URL；數據源和結果輸出的數據庫均支持Hermes、QMQ、MySQL、Hbase、HTTP、SFTP。

9.如權利要求6所述的數據采集系統，其特征在于，所述定制開發單元還包括快照單元、Trace服務單元；

解釋執行AST的過程中，所述快照單元在異常發生時采用Hbase持久化異常發生的原因和行號；

定制簡單的腳本支持debug功能，所述Trace服務單元可以回顯斷點處的參數。

10.如權利要求7所述的數據采集系統，其特征在于，所述構建任務執行的任務樹，可以統計總的數據處理量；提供SDK擴展組件接口以便第三方定制并執行數據處理腳本。

11.一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現權利要求1-5中任一項所述的數據采集方法。

12.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現權利要求1-5中任一項所述的數據采集方法的步驟。