[發(fā)明專利]一種數(shù)據(jù)文件采集分發(fā)的方法、系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201710992502.0
• 申請日: 2017-10-23
• 公開（公告）號: CN107766508B
• 公開（公告）日: 2021-06-15
• 發(fā)明（設(shè)計）人: 胡文彬;劉祥濤;趙彥暉;孫淏添
• 申請（專利權(quán)）人: 深圳市中潤四方信息技術(shù)有限公司
• 主分類號: G06F16/13
• 分類號: G06F16/13;G06F16/16;G06F16/17;G06F16/18;G06F9/445
• 代理公司: 深圳市深佳知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44285
• 代理人: 王仲凱

本發(fā)明實施例公開了一種數(shù)據(jù)文件采集分發(fā)的方法、系統(tǒng)、設(shè)備和計算機可讀存儲介質(zhì)，依據(jù)獲取的采集任務(wù)的配置信息，從源主機中采集數(shù)據(jù)文件，并將其存儲于文件備份目錄中；在各個文件分發(fā)目錄中建立與文件備份目錄中數(shù)據(jù)文件的軟鏈接，并將采集日志寫入數(shù)據(jù)庫中；依據(jù)該軟鏈接，獲取數(shù)據(jù)文件，并根據(jù)獲取的分發(fā)配置信息，將該數(shù)據(jù)文件發(fā)送給目標(biāo)主機；完成數(shù)據(jù)文件的分發(fā)后，刪除該軟鏈接，并將分發(fā)日志寫入數(shù)據(jù)庫中。通過將文件采集操作和文件分發(fā)操作分離，在接收到目標(biāo)主機發(fā)送的重發(fā)請求時，修改采集日志的重發(fā)標(biāo)識，依據(jù)對應(yīng)的重發(fā)規(guī)則，將數(shù)據(jù)文件重新發(fā)送至目標(biāo)主機，解決了采集分發(fā)在處理文件重新分發(fā)時效率低下且浪費系統(tǒng)資源的問題。

技術(shù)領(lǐng)域

本發(fā)明涉及文件處理技術(shù)領(lǐng)域，特別是涉及一種數(shù)據(jù)文件采集分發(fā)的方法、系統(tǒng)、設(shè)備和計算機可讀存儲介質(zhì)。

背景技術(shù)

在大型業(yè)務(wù)系統(tǒng)中，往往需要將業(yè)務(wù)數(shù)據(jù)文件發(fā)送到多個子系統(tǒng)進行相關(guān)的業(yè)務(wù)處理，為了不影響提供數(shù)據(jù)源的業(yè)務(wù)系統(tǒng)，一般是通過獨立的數(shù)據(jù)文件采集分發(fā)系統(tǒng)來執(zhí)行數(shù)據(jù)文件的分發(fā)。

傳統(tǒng)的數(shù)據(jù)文件采集分發(fā)系統(tǒng)，通常的做法是將采集操作和分發(fā)操作放在同一個進程按順序執(zhí)行，例如執(zhí)行采集分發(fā)任務(wù)時，先從源主機采集數(shù)據(jù)文件放在臨時目錄，再將數(shù)據(jù)文件分發(fā)到目標(biāo)主機，最后刪除臨時目錄的數(shù)據(jù)文件。這種做法存在的問題是，如果目標(biāo)主機由于丟失數(shù)據(jù)文件或其他原因而要求重新分發(fā)數(shù)據(jù)文件時，由于此時采集和分發(fā)是一起執(zhí)行的，則需要將整個采集分發(fā)任務(wù)重新執(zhí)行一遍，即需要從源主機重新采集數(shù)據(jù)文件，再重新分發(fā)數(shù)據(jù)文件給目標(biāo)主機，而不能快速的將數(shù)據(jù)文件重新分發(fā)給目標(biāo)主機，這樣就降低了重新分發(fā)的處理效率且造成了系統(tǒng)資源的浪費。

可見，如何解決處理文件重新分發(fā)時效率低下且浪費系統(tǒng)資源的問題，是本領(lǐng)域技術(shù)人員亟待解決的問題。

發(fā)明內(nèi)容

本發(fā)明實施例的目的是提供一種數(shù)據(jù)文件采集分發(fā)的方法、系統(tǒng)、設(shè)備和計算機可讀存儲介質(zhì)，可以解決處理文件重新分發(fā)時效率低下且浪費系統(tǒng)資源的問題。

為解決上述技術(shù)問題，本發(fā)明實施例提供一種數(shù)據(jù)文件采集分發(fā)的方法，包括：

依據(jù)獲取的采集任務(wù)的配置信息，從所述采集任務(wù)對應(yīng)的源主機中采集數(shù)據(jù)文件，并將所述數(shù)據(jù)文件存儲于對應(yīng)的文件備份目錄中；

在各個文件分發(fā)目錄中建立與所述文件備份目錄中所述數(shù)據(jù)文件的軟鏈接，并將采集日志寫入數(shù)據(jù)庫中；

獲取分發(fā)任務(wù)的分發(fā)配置信息；

依據(jù)建立的所述軟鏈接，從所述分發(fā)配置信息中攜帶的文件分發(fā)目錄中獲取所述數(shù)據(jù)文件，并將所述數(shù)據(jù)文件發(fā)送給對應(yīng)的目標(biāo)主機；

當(dāng)完成所述數(shù)據(jù)文件的分發(fā)任務(wù)后，刪除所述軟鏈接，并將分發(fā)日志寫入所述數(shù)據(jù)庫中；

依據(jù)接收到的所述目標(biāo)主機發(fā)送的重發(fā)請求，修改所述采集日志的重發(fā)標(biāo)識；

依據(jù)所述重發(fā)標(biāo)識對應(yīng)的重發(fā)規(guī)則，將所述數(shù)據(jù)文件重新發(fā)送至所述目標(biāo)主機。

可選的，所述依據(jù)所述重發(fā)標(biāo)識所屬的操作類型，將所述數(shù)據(jù)文件重新發(fā)送至所述目標(biāo)主機包括：

S201：判斷所述重發(fā)標(biāo)識是否屬于第一類標(biāo)識；若是，則執(zhí)行S202；若否，則執(zhí)行S204；

S202：依據(jù)所述采集任務(wù)的配置信息，在目標(biāo)文件分發(fā)目錄中建立與所述文件備份目錄中所述數(shù)據(jù)文件的軟鏈接，并更新所述重發(fā)標(biāo)識；其中，所述目標(biāo)文件分發(fā)目錄為所述目標(biāo)主機對應(yīng)的文件分發(fā)目錄；

S203：依據(jù)建立的所述軟鏈接，從所述目標(biāo)文件分發(fā)目錄中獲取數(shù)據(jù)文件，并將所述數(shù)據(jù)文件重新發(fā)送至所述目標(biāo)主機，當(dāng)完成所述數(shù)據(jù)文件的重新發(fā)送后，刪除所述軟鏈接；

S204：判斷所述重發(fā)標(biāo)識是否屬于第二類標(biāo)識；若是，則執(zhí)行S205；