[發(fā)明專利]用于數(shù)據(jù)處理的方法及其設(shè)備

有效

• 申請?zhí)枺?/td>: 201710361385.8
• 申請日: 2017-05-19
• 公開（公告）號: CN108959302B
• 公開（公告）日: 2021-06-29
• 發(fā)明（設(shè)計）人: 王旋;朱健
• 申請（專利權(quán)）人: 北京京東尚科信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類號: G06F16/13
• 分類號: G06F16/13;G06F16/16
• 代理公司: 中科專利商標(biāo)代理有限責(zé)任公司 11021
• 代理人: 倪斌

本發(fā)明提供了一種數(shù)據(jù)處理方法。該方法包括獲取數(shù)據(jù)文件，所述數(shù)據(jù)文件包括具有不同業(yè)務(wù)時間的一個或多個數(shù)據(jù)；解析所述數(shù)據(jù)文件，以獲取針對每個數(shù)據(jù)的業(yè)務(wù)時間；以及根據(jù)每個數(shù)據(jù)的業(yè)務(wù)時間將所述數(shù)據(jù)文件切割為一個或多個數(shù)據(jù)段。本公開還提供了與該方法相對應(yīng)的設(shè)備和計算機(jī)可讀存儲介質(zhì)。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，具體涉及一種數(shù)據(jù)處理方法及其設(shè)備。

背景技術(shù)

在數(shù)據(jù)統(tǒng)計分析的過程中，往往需要向數(shù)據(jù)集市傳輸數(shù)據(jù)報表。現(xiàn)有的技術(shù)方案利用傳輸工具在往數(shù)據(jù)集市傳輸數(shù)據(jù)的時候，根據(jù)任務(wù)運(yùn)行時的服務(wù)器時間將數(shù)據(jù)切割成多個段，并存儲在各個文件目錄中。然而這種方式具有一些缺陷。例如任務(wù)運(yùn)行失敗或者數(shù)據(jù)延遲會造成嚴(yán)重的數(shù)據(jù)偏移，即本來是時間a的數(shù)據(jù)會存放在時間b路徑下，導(dǎo)致根據(jù)各個文件目錄生成的數(shù)據(jù)報表不能真實(shí)反映業(yè)務(wù)狀態(tài)。

因此，需要一種數(shù)據(jù)處理方案，能夠使得數(shù)據(jù)報表真實(shí)地反映實(shí)際的業(yè)務(wù)狀態(tài)。

發(fā)明內(nèi)容

有鑒于此，本公開提供了一種數(shù)據(jù)處理方法、數(shù)據(jù)處理設(shè)備和對應(yīng)的存儲器設(shè)備。

本公開的一個方面提供了一種用于處理數(shù)據(jù)的方法。該方法包括獲取數(shù)據(jù)文件，所述數(shù)據(jù)文件包括具有不同業(yè)務(wù)時間的一個或多個數(shù)據(jù)。該方法還包括解析所述數(shù)據(jù)文件，以獲取針對每個數(shù)據(jù)的業(yè)務(wù)時間；根據(jù)每個數(shù)據(jù)的業(yè)務(wù)時間將所述數(shù)據(jù)文件切割為一個或多個數(shù)據(jù)段；以及將所述一個或多個數(shù)據(jù)段分別存儲在一個或多個目錄下。

根據(jù)本公開的一些實(shí)施例，根據(jù)每個數(shù)據(jù)的業(yè)務(wù)時間將所述數(shù)據(jù)文件切割為一個或多個數(shù)據(jù)段可包括：設(shè)置一個或多個數(shù)據(jù)存儲桶；以及根據(jù)每個數(shù)據(jù)的業(yè)務(wù)時間將所述一個或多個數(shù)據(jù)中的至少一部分歸類到所述一個或多個數(shù)據(jù)存儲桶中的各個數(shù)據(jù)存儲桶中。在此情況下，將所述一個或多個數(shù)據(jù)段分別存儲在一個或多個目錄下可包括：基于所述歸類將所述一個或多個數(shù)據(jù)寫入到所述一個或多個目錄中的不同目錄下。

根據(jù)本公開的一些實(shí)施例，設(shè)置一個或多個數(shù)據(jù)存儲桶可包括：以當(dāng)前任務(wù)時間來作為所述一個或多個數(shù)據(jù)存儲桶中基準(zhǔn)數(shù)據(jù)存儲桶的數(shù)據(jù)的起始時間，所述當(dāng)前任務(wù)時間表示當(dāng)前數(shù)據(jù)處理任務(wù)的執(zhí)行時間；以及所述一個或多個數(shù)據(jù)存儲桶中的其他數(shù)據(jù)存儲桶以所述基準(zhǔn)數(shù)據(jù)存儲桶為基準(zhǔn)，相鄰數(shù)據(jù)存儲桶之間間隔預(yù)定時間跨度。

根據(jù)本公開的一些實(shí)施例，該方法還可包括：針對每個業(yè)務(wù)時段設(shè)置指示不同時間屬性的一個或多個目錄。

在一些示例中，指示不同時間屬性的一個或多個目錄可包括以下至少一項：時間正常目錄、時間過早目錄、時間過晚目錄。

在此情況下，根據(jù)所設(shè)置的數(shù)據(jù)存儲桶將所述一個或多個數(shù)據(jù)寫入到不同目錄下可包括：將歸類到所設(shè)置的數(shù)據(jù)存儲桶的數(shù)據(jù)寫入到時間正常目錄下；將其業(yè)務(wù)時間比歸類到所設(shè)置的數(shù)據(jù)存儲桶的數(shù)據(jù)早的數(shù)據(jù)寫入到時間過早目錄；以及將其業(yè)務(wù)時間比歸類到所設(shè)置的數(shù)據(jù)存儲桶的數(shù)據(jù)晚的數(shù)據(jù)寫入到時間過晚目錄。

根據(jù)本公開的一些實(shí)施例，所述時間正常目錄包括多個時間正常目錄，所述多個時間正常目錄中的每一個與所設(shè)置的數(shù)據(jù)存儲桶中的各個數(shù)據(jù)存儲桶相對應(yīng)。

根據(jù)本公開的一些實(shí)施例，該方法還可包括：

在當(dāng)前數(shù)據(jù)處理任務(wù)完成時，凍結(jié)所述多個時間正常目錄中業(yè)務(wù)時間最早的時間正常目錄。

根據(jù)本公開的一些實(shí)施例，通過向所述業(yè)務(wù)時間最早的時間正常目錄添加指示不再寫入的標(biāo)記來凍結(jié)所述業(yè)務(wù)時間最早的時間正常目錄。

根據(jù)本發(fā)明的另一方案，提供了一種用于處理數(shù)據(jù)的設(shè)備。該設(shè)備包括數(shù)據(jù)獲取模塊、數(shù)據(jù)解析模塊、數(shù)據(jù)切割模塊和數(shù)據(jù)寫入模塊。數(shù)據(jù)獲取模塊用于獲取數(shù)據(jù)文件，所述數(shù)據(jù)文件包括具有不同業(yè)務(wù)時間的一個或多個數(shù)據(jù)。數(shù)據(jù)解析模塊用于解析所述數(shù)據(jù)文件，以獲取針對每個數(shù)據(jù)的業(yè)務(wù)時間。數(shù)據(jù)切割模塊用于根據(jù)每個數(shù)據(jù)的業(yè)務(wù)時間將所述數(shù)據(jù)文件切割為一個或多個數(shù)據(jù)段。數(shù)據(jù)寫入模塊用于將所述一個或多個數(shù)據(jù)段分別存儲在一個或多個目錄下。