[發(fā)明專利]基于時間切片智能檢查控制的離線數(shù)據(jù)存儲及計算方法

在審

• 申請?zhí)枺?/td>: 202111175485.4
• 申請日: 2021-10-09
• 公開（公告）號: CN113867844A
• 公開（公告）日: 2021-12-31
• 發(fā)明（設(shè)計）人: 鄭松森;康志權(quán);張詩君;林福麟;鄭幸源;邱陽;陳涵瑋
• 申請（專利權(quán)）人: 中郵科通信技術(shù)股份有限公司
• 主分類號: G06F9/445
• 分類號: G06F9/445;G06F9/54
• 代理公司: 福州元創(chuàng)專利商標(biāo)代理有限公司 35100
• 代理人: 陳鼎桂;蔡學(xué)俊

本發(fā)明涉及一種基于時間切片智能檢查控制的離線數(shù)據(jù)存儲及計算方法及系統(tǒng)，包括：配置中心，用以責(zé)離線活動抽象模型的管理與離線活動參數(shù)的信息存儲；過程管控中心，用于對離線數(shù)據(jù)活動初始化、啟動、運行監(jiān)聽、釋放活動實例智能調(diào)度功能；過程管控中心，同時包含一個或者多個運行節(jié)點，所有被過程管控中心實例化的離線數(shù)據(jù)活動都在運行節(jié)點上，作為活動實例運行環(huán)境。本發(fā)明在離線數(shù)據(jù)處理的場景下，依托從接收活動開始就以數(shù)據(jù)時間為前置條件，以一定時間規(guī)則對數(shù)據(jù)進行標(biāo)記時間戳，結(jié)合檢查控制來保證數(shù)據(jù)處置過程中的完整性、及時性與準(zhǔn)確性。

技術(shù)領(lǐng)域

本發(fā)明涉及信息技術(shù)領(lǐng)域，特別是涉及一種基于時間切片智能檢查控制的離線數(shù)據(jù)存儲及計算方法。

背景技術(shù)

離線和實時數(shù)據(jù)處理一直是信息技術(shù)數(shù)據(jù)存儲計算的重要一環(huán)，離線數(shù)據(jù)處理相對于實時處理適用于事后分析且時效性要求不高的場景，包括了從數(shù)據(jù)接收、加工、存儲、分析/計算在業(yè)界是有一整套標(biāo)準(zhǔn)化定義流程，但在實際應(yīng)用中面對解決問題：

如何保證離線數(shù)據(jù)處理過程的完整性？數(shù)據(jù)從接收到最終的存儲(分析計算)要經(jīng)過一系列的數(shù)據(jù)處置過程，需要保證各個過程都能被完整正確執(zhí)行。

如何提高離線數(shù)據(jù)計算結(jié)果的及時性？離線數(shù)據(jù)雖然相對于實時計算有一定的時間容忍度，但也必須保證數(shù)據(jù)結(jié)果的“相對”及時。

如何確保離線數(shù)據(jù)計算結(jié)果的準(zhǔn)確性？因為數(shù)據(jù)間具有相互關(guān)聯(lián)性和前后依賴，比如匯統(tǒng)省份級數(shù)據(jù)，必須等待地市級數(shù)據(jù)加載完成得出的結(jié)果才有效。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的目的在于提供一種基于時間切片智能檢查控制的離線數(shù)據(jù)存儲及計算方法，在離線數(shù)據(jù)處理的場景下，依托從接收活動開始就以數(shù)據(jù)時間為前置條件，以一定時間規(guī)則對數(shù)據(jù)進行標(biāo)記時間戳，結(jié)合檢查控制來保證數(shù)據(jù)處置過程中的完整性、及時性與準(zhǔn)確性。

為實現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：

一種基于時間切片智能檢查控制的離線數(shù)據(jù)存儲及計算方法，包括以下步驟：

步驟S1：預(yù)設(shè)并封裝離線數(shù)據(jù)處理通用活動，并建立標(biāo)準(zhǔn)化數(shù)據(jù)處理活動；

步驟S2：創(chuàng)建并配置各個數(shù)據(jù)處理活動實例的啟動、運行、包括時間切片周期規(guī)則等參數(shù)屬性；

步驟S3：在初始化時或啟動參數(shù)被更新時讀取活動檢查配置，并加入到過程管控中心的控制檢查表中，活動監(jiān)聽檢查參數(shù)(特別是時間切片相關(guān)參數(shù))的變化；

步驟S4：在發(fā)現(xiàn)檢查表中的訂閱參數(shù)有發(fā)生變動時會掃描各活動條件是否滿足，若滿足則啟動相關(guān)活動實例執(zhí)行離線數(shù)據(jù)處置；

步驟S5：保證啟動參數(shù)上對相同活動在同一時刻僅有實例運行的調(diào)度；

步驟S6：對于長期活動實例會定時向過程管控中心發(fā)送心跳，若心跳中斷超過一定時間過程管控中心會重新啟動活動實例；

步驟S7：在活動實例執(zhí)行成功后，會根據(jù)執(zhí)行結(jié)果更新啟動參數(shù)值信息；

步驟S8：在活動實例執(zhí)行失敗后，會將任務(wù)丟棄到失敗隊列中，對于存在于失敗隊列中的活動即使?jié)M足條件也不執(zhí)行實例；

步驟S9：依照失敗等待時長配置參數(shù)，從失敗隊列中取回活動再放入中心的啟動參數(shù)管理范圍內(nèi)。

進一步的，所述標(biāo)準(zhǔn)化數(shù)據(jù)處理活動包括數(shù)據(jù)接入活動、數(shù)據(jù)存儲活動、數(shù)據(jù)刪除活動、數(shù)據(jù)下載活動等，其中活動分為長期活動和臨時活動。

進一步的，所述標(biāo)準(zhǔn)化數(shù)據(jù)處理活動中離線數(shù)據(jù)處理過程都按一定時間切片周期規(guī)則進行標(biāo)注區(qū)別，以便于對數(shù)據(jù)進行時間切片識別。

進一步的，所述參數(shù)類型分為啟動參數(shù)、運行參數(shù)與活動決策參數(shù)，所有活動參數(shù)均為時間切片屬性。