[發明專利]數據割接方法、裝置、計算機設備和可讀存儲介質

在審

• 申請號: 201911079664.0
• 申請日: 2019-11-07
• 公開（公告）號: CN110837516A
• 公開（公告）日: 2020-02-25
• 發明（設計）人: 陳龍
• 申請（專利權）人: 恩億科（北京）數據科技有限公司
• 主分類號: G06F16/242
• 分類號: G06F16/242;G06F16/2458
• 代理公司: 北京超成律師事務所 11646
• 代理人: 劉靜

本申請實施例提供了一種數據割接方法、裝置、計算機設備和可讀存儲介質，數據割接方法應用于計算機設備，包括：獲取計算機設備中存儲的待割接數據，判斷待割接數據是否為時序數據；若是，則對待割接數據進行時序處理，得到第一割接數據；若不是，則對待割接數據進行聚合處理，得到第二割接數據，從而能夠可靠地實現數據割接。

技術領域

本申請涉及大數據技術領域，具體而言，涉及一種數據割接方法、裝置、計算機設備和可讀存儲介質。

背景技術

在大數據時代，數據的存儲和使用已經成為大型企業中不可或缺的一部分。其中對于實時數據來說，數據之間大多是具有時序性的，而在實時數據源上線以前，往往已經堆積了一部分待處理的實時數據，且其時序已經錯亂，此時若不先將堆積的數據清理割接，就開始對新的實時數據進行存儲和處理，會造成更大規模的數據混亂，進而導致整個系統出現嚴重問題。

有鑒于此，如何提供一種可靠的數據割接方案，是本領域技術人員需要解決的。

發明內容

本申請提供了一種數據割接方法、裝置、計算機設備和可讀存儲介質。本申請的實施例可以這樣實現：

第一方面，實施例提供一種數據割接方法，應用于計算機設備，所述方法包括：

獲取所述計算機設備中存儲的待割接數據，判斷所述待割接數據是否為時序數據；若是，則對所述待割接數據進行時序處理，得到第一割接數據；

若不是，則對所述待割接數據進行聚合處理，得到第二割接數據。

在可選的實施方式中，所述計算機設備包括割接組件，所述對所述待割接數據進行時序處理，得到第一割接數據，包括：

響應用戶輸入的待割接數據的唯一標識、過濾參數和過濾依據；

根據所述唯一標識，確定所述待割接數據的身份信息；

根據所述過濾參數和過濾依據，確定所述待割接數據的時序信息；

通過所述割接組件根據所述身份信息和時序信息，得到第一割接數據。

在可選的實施方式中，所述計算機設備與外部數據源連接，所述計算機設備包括消息傳輸組件、數據處理組件、分布式存儲組件和數據庫組件，所述獲取所述計算機設備中存儲的待割接數據包括：

接收所述外部數據源發送的數據，對該數據進行預處理得到待處理數據；

通過消息傳輸組件將所述待處理數據發送至所述數據處理組件進行處理；

將所述數據處理組件處理后的待處理數據發送至分布式存儲組件中備份，得到待割接數據，并將所述數據處理組件處理后的待處理數據發送至數據庫組件。

在可選的實施方式中，所述方法還包括：

當所述待割接數據為時序數據時，停止接收所述外部數據源發送的數據，當所述待割接數據非時序數據時，實時接收所述外部數據源發送的數據。

在可選的實施方式中，所述方法還包括：

在所述消息傳輸組件中新建任務處理項；

將所述第一割接數據或第二割接數據發送至新建的所述任務處理項中，通過所述任務處理項將所述割接數據發送至所述數據處理組件進行處理；

將所述數據處理組件處理后的割接數據發送至分布式存儲組件中備份，得到目標數據，并將所述數據處理組件處理后的割接數據發送至數據庫組件。

在可選的實施方式中，所述計算機設備包括Event Hub和dataAgent，所述接收所述外部數據源發送的數據，對該數據進行預處理得到待處理數據，包括：