[發(fā)明專利]數(shù)據(jù)綜合采集方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201710130440.2
• 申請日: 2017-03-07
• 公開（公告）號: CN106843908A
• 公開（公告）日: 2017-06-13
• 發(fā)明（設(shè)計）人: 梁凱;曹暉;張澤晨;王冬;王津
• 申請（專利權(quán)）人: 北京中交創(chuàng)新投資發(fā)展有限公司
• 主分類號: G06F9/44
• 分類號: G06F9/44;G06F17/30
• 代理公司: 北京三友知識產(chǎn)權(quán)代理有限公司11127
• 代理人: 王濤

1.一種數(shù)據(jù)綜合采集方法，其特征在于，包括：

讀取配置文件信息，并將所述配置文件信息加載到內(nèi)存中，其中，所述配置文件信息包括采集地址、采集頻率、采集協(xié)議、匹配規(guī)則和目標地址；

根據(jù)所述配置文件信息創(chuàng)建線程；

登錄所述目標地址或所述采集地址所在的遠程主機；

執(zhí)行所述線程，包括：

根據(jù)所述采集地址獲取數(shù)據(jù)文件列表，所述數(shù)據(jù)文件列表包括多個待采集的數(shù)據(jù)文件；

根據(jù)所述匹配規(guī)則過濾所述數(shù)據(jù)文件列表，獲取目標數(shù)據(jù)文件列表，所述目標數(shù)據(jù)文件列表包括多個目標數(shù)據(jù)文件；

確定所述目標數(shù)據(jù)文件對應(yīng)的采集協(xié)議；

按照所述采集頻率和所述目標數(shù)據(jù)文件對應(yīng)的采集協(xié)議，將所述目標數(shù)據(jù)文件列表移動并存儲至所述目標地址。

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)綜合采集方法，其特征在于，

所述配置文件信息還包括：線程的處理指令；

執(zhí)行所述線程，具體包括：根據(jù)所述線程的處理指令，獲取所述線程或發(fā)送所述線程；

在獲取所述線程時，所述采集地址位于所述遠程主機，所述目標地址位于本地主機；

在發(fā)送所述線程時，所述采集地址位于所述本地主機，所述目標地址位于所述遠程主機。

3.根據(jù)權(quán)利要求2所述的數(shù)據(jù)綜合采集方法，其特征在于，

所述配置文件信息還包括臨時地址；

按照所述采集頻率和所述目標數(shù)據(jù)文件對應(yīng)的采集協(xié)議，將所述目標數(shù)據(jù)文件列表移動并存儲至所述目標地址，具體包括：

按照所述采集頻率和所述目標數(shù)據(jù)文件對應(yīng)的采集協(xié)議，將所述目標數(shù)據(jù)文件列表移動并存儲至所述臨時地址；

比較存儲在臨時地址中的目標數(shù)據(jù)文件與存儲在采集地址中的目標數(shù)據(jù)文件的大小；

當臨時地址中的目標數(shù)據(jù)文件與采集地址中的目標數(shù)據(jù)文件大小相等時，按照所述采集頻率和所述目標數(shù)據(jù)文件對應(yīng)的采集協(xié)議，將臨時地址中的所述目標數(shù)據(jù)文件列表移動并存儲至所述目標地址。

4.根據(jù)權(quán)利要求3所述的數(shù)據(jù)綜合采集方法，其特征在于，

所述配置文件信息還包括：文件解壓縮規(guī)則；

當臨時地址中的目標數(shù)據(jù)文件與采集地址中的目標數(shù)據(jù)文件大小相等時，按照所述采集頻率和所述目標數(shù)據(jù)文件對應(yīng)的采集協(xié)議，將臨時地址中的所述目標數(shù)據(jù)文件列表移動并存儲至所述目標地址，具體包括：

在獲取所述線程時，當臨時地址中的目標數(shù)據(jù)文件與采集地址中的目標數(shù)據(jù)文件大小相等時，根據(jù)所述文件解壓縮規(guī)則，對臨時地址中的目標數(shù)據(jù)文件進行壓縮處理或減壓處理，并按照所述采集頻率和所述臨時地址中的目標數(shù)據(jù)文件對應(yīng)的采集協(xié)議，將臨時地址中的目標數(shù)據(jù)文件列表移動并存儲至所述目標地址，所述臨時地址中的目標數(shù)據(jù)文件列表包括多個經(jīng)過壓縮處理或減壓處理的目標數(shù)據(jù)文件。

5.根據(jù)權(quán)利要求3所述的數(shù)據(jù)綜合采集方法，其特征在于，

所述配置文件信息還包括：文件改名規(guī)則；

當臨時地址中的目標數(shù)據(jù)文件與采集地址中的目標數(shù)據(jù)文件大小相等時，按照所述采集頻率和所述目標數(shù)據(jù)文件對應(yīng)的采集協(xié)議，將臨時地址中的所述目標數(shù)據(jù)文件列表移動并存儲至所述目標地址，具體包括：

在獲取所述線程時，當臨時地址中的目標數(shù)據(jù)文件與采集地址中的目標數(shù)據(jù)文件大小相等時，根據(jù)所述文件改名規(guī)則，更改臨時地址中的目標數(shù)據(jù)文件的文件名稱，并按照所述采集頻率和所述臨時地址中的目標數(shù)據(jù)文件對應(yīng)的采集協(xié)議，將臨時地址中的目標數(shù)據(jù)文件列表移動并存儲至所述目標地址，所述臨時地址中的目標數(shù)據(jù)文件列表包括多個經(jīng)過改名的目標數(shù)據(jù)文件。

6.根據(jù)權(quán)利要求3所述的數(shù)據(jù)綜合采集方法，其特征在于，

根據(jù)所述配置文件信息創(chuàng)建線程，還包括：根據(jù)所述配置文件信息創(chuàng)建線程后，創(chuàng)建索引文件；

當臨時地址中的目標數(shù)據(jù)文件與采集地址中的目標數(shù)據(jù)文件大小相等時，按照所述采集頻率和所述目標數(shù)據(jù)文件對應(yīng)的采集協(xié)議，將臨時地址中的所述目標數(shù)據(jù)文件列表移動并存儲至所述目標地址，具體包括：

當臨時地址中的目標數(shù)據(jù)文件與采集地址中的目標數(shù)據(jù)文件大小相等時，根據(jù)所述索引文件，對臨時地址中的目標數(shù)據(jù)文件進行文件查重處理，并按照所述采集頻率和所述臨時地址中的目標數(shù)據(jù)文件對應(yīng)的采集協(xié)議，將臨時地址中的目標數(shù)據(jù)文件列表移動并存儲至所述目標地址，所述臨時地址中的目標數(shù)據(jù)文件列表包括多個經(jīng)過文件查重處理的目標數(shù)據(jù)文件。