[發明專利]一種數據采集方法、裝置及系統

有效

• 申請號: 201611097713.X
• 申請日: 2016-12-02
• 公開（公告）號: CN106777933B
• 公開（公告）日: 2019-05-10
• 發明（設計）人: 劉鵬科
• 申請（專利權）人: 鄭州云海信息技術有限公司
• 主分類號: G16H10/00
• 分類號: G16H10/00;G06F16/25;G06F16/215
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 羅滿

1.一種數據采集方法，其特征在于，包括：

通過數據抽取線程從對應的業務數據庫中抽取原始數據；

利用數據清洗線程對所述原始數據進行篩選過濾，生成第一處理數據；

利用數據加工線程對所述第一處理數據的類型進行轉換，生成第二處理數據；

利用數據封裝線程將所述第二處理數據封裝成對應的XML文件；

其中，所述數據抽取線程、所述數據清洗線程、所述數據加工線程和所述數據封裝線程的線程數量參數均為可自定義的線程數量參數；

其中，所述通過數據抽取線程從對應的業務數據庫中抽取原始數據之后，還包括：

檢測所述原始數據的第一數據屬性；根據所述第一數據屬性調整所述數據清洗線程的線程數量參數；

其中，所述利用數據清洗線程對所述原始數據進行篩選過濾，生成第一處理數據之后，還包括：

檢測所述第一處理數據的第二數據屬性；根據所述第二數據屬性調整所述數據加工線程的線程數量參數；

其中，所述利用數據加工線程對所述第一處理數據的類型進行轉換，生成第二處理數據之后，還包括：

檢測所述第二處理數據的第三數據屬性；根據所述第三數據屬性調整所述數據封裝線程的線程數量參數。

2.根據權利要求1所述的數據采集方法，其特征在于，所述通過數據抽取線程從對應的業務數據庫中抽取原始數據之前，還包括：

接收用戶輸入的線程數量參數修改指令；

利用所述線程數量參數修改指令，對所述數據抽取線程、所述數據清洗線程、所述數據加工線程和所述數據封裝線程中至少一者的線程數量參數進行調整。

3.根據權利要求1或2所述的數據采集方法，其特征在于，所述利用數據封裝線程將所述第二處理數據封裝成對應的XML文件之后，還包括：

根據所述XML文件的優先級信息，確定與所述XML文件對應的目標業務隊列；

將所述XML文件存入所述目標業務隊列；

通過與所述XML文件對應的數據解析線程解析所述目標業務隊列中的XML文件，并存入數據庫。

4.一種數據采集裝置，其特征在于，包括：

數據抽取模塊，用于通過數據抽取線程從對應的業務數據庫中抽取原始數據；

數據清洗模塊，用于利用數據清洗線程對所述原始數據進行篩選過濾，生成第一處理數據；

數據加工模塊，用于利用數據加工線程對所述第一處理數據的類型進行轉換，生成第二處理數據；

數據封裝模塊，用于利用數據封裝線程將所述第二處理數據封裝成對應的XML文件；其中，所述數據抽取線程、所述數據清洗線程、所述數據加工線程和所述數據封裝線程的線程數量參數均為可自定義的線程數量參數；

其中，檢測模塊，用于通過數據抽取線程從對應的業務數據庫中抽取原始數據之后，檢測所述原始數據的第一數據屬性；

第二線程數量參數調整模塊，用于根據所述第一數據屬性調整所述數據清洗線程的線程數量參數；

所述檢測模塊還用于：檢測所述第一處理數據的第二數據屬性；

所述第二線程數量參數調整模塊還用于，根據所述第二數據屬性調整所述數據加工線程的線程數量參數；

所述檢測模塊還用于：檢測所述第二處理數據的第三數據屬性；

所述第二線程數量參數調整模塊還用于，根據所述第三數據屬性調整所述數據封裝線程的線程數量參數。

5.根據權利要求4所述的數據采集裝置，其特征在于，還包括：

接收模塊，用于接收用戶輸入的線程數量參數修改指令；

第一線程數量參數調整模塊，用于利用所述線程數量參數修改指令，對所述數據抽取線程、所述數據清洗線程、所述數據加工線程和所述數據封裝線程中至少一者的線程數量參數進行調整。

6.一種數據采集系統，其特征在于，包括如權利要求4或5所述的數據采集裝置，還包括：

數據中轉裝置，用于根據所述XML文件的優先級信息，確定與所述XML文件對應的目標業務隊列，并將所述XML文件存入所述目標業務隊列；

數據解析裝置，用于通過與所述XML文件對應的數據解析線程解析所述目標業務隊列中的XML文件，并存入數據庫。