[發明專利]多源數據的采集方法、裝置、設備及存儲介質

在審

• 申請號: 202010819608.2
• 申請日: 2020-08-14
• 公開（公告）號: CN111949850A
• 公開（公告）日: 2020-11-17
• 發明（設計）人: 張俊威;謝永恒;程強
• 申請（專利權）人: 北京銳安科技有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/182;G06F16/17;G06F9/54
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種多源數據的采集方法，其特征在于，包括：

根據待采集數據的數據源類型確定接入策略；

根據所述接入策略將所述待采集數據中的結構化數據轉化為設定格式，并將所述設定格式的數據發送至設定采集隊列中；

根據所述接入策略將所述待采集數據中的非結構化數據上傳至設定存儲器中。

2.根據權利要求1所述的方法，其特征在于，在根據待采集數據的數據源類型確定接入策略之前，還包括：

根據各數據源類型配置任務參數，并確定所需采集的字段信息；

根據所述任務參數和所述字段信息生成各數據源分別對應的接入策略；

將所述接入策略上傳至采集系統中。

3.根據權利要求2所述的方法，其特征在于，根據所述接入策略將所述待采集數據中的結構化數據轉化為設定格式，包括：

根據所述字段信息獲取結構化數據中的關鍵詞以及所述關鍵詞對應的數值；

根據所述關鍵詞和所述數值生成設定格式的數據。

4.根據權利要求1所述的方法，其特征在于，根據所述接入策略將所述待采集數據中的非結構化數據上傳至設定存儲器中，包括：

當非結構化數據的量達到第一設定值和/或采集的時長超過設定第二設定值時，將所述待采集數據中的非結構化數據上傳至設定存儲器中。

5.根據權利要求1所述的方法，其特征在于，在根據所述接入策略將所述待采集數據中的結構化數據轉化為設定格式之前，還包括：

根據所述接入策略確定所述待采集數據的類型；所述類型包括結構化數據和非結構化數據。

6.根據權利要求1-5任一所述的方法，其特征在于，還包括：

統計采集的結構化數據和非結構化數據的數量，獲得采集量；

統計異常數據量；

統計數據輸出量；所述數據輸出量包括發送至所述設定采集隊列中的數據量和上傳至所述設定存儲器中的數據量；

將所述采集量、異常數據量及所述數據輸出量進行實時顯示。

7.根據權利要求1所述的方法，其特征在于，所述設定采集隊列為Kafka隊列；所述設定存儲器為HDFS。

8.一種多源數據的采集裝置，其特征在于，包括：

接入策略確定模塊，用于根據待采集數據的數據源類型確定接入策略；

格式轉化模塊，用于根據所述接入策略將所述待采集數據中的結構化數據轉化為設定格式，并將所述設定格式的數據發送至設定采集隊列中；

數據存儲模塊，用于根據所述接入策略將所述待采集數據中的非結構化數據上傳至設定存儲器中。

9.一種計算機設備，其特征在于，所述設備包括：包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述程序時實現如權利要求1-7任一所述的多源數據的采集方法。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理裝置執行時實現如權利要求1-7中任一所述的多源數據的采集方法。