[發明專利]數據割接方法、裝置、計算機設備和可讀存儲介質

在審

• 申請號: 201911079664.0
• 申請日: 2019-11-07
• 公開（公告）號: CN110837516A
• 公開（公告）日: 2020-02-25
• 發明（設計）人: 陳龍
• 申請（專利權）人: 恩億科（北京）數據科技有限公司
• 主分類號: G06F16/242
• 分類號: G06F16/242;G06F16/2458
• 代理公司: 北京超成律師事務所 11646
• 代理人: 劉靜

1.一種數據割接方法，其特征在于，應用于計算機設備，所述方法包括：

獲取所述計算機設備中存儲的待割接數據，判斷所述待割接數據是否為時序數據；若是，則對所述待割接數據進行時序處理，得到第一割接數據；

若不是，則對所述待割接數據進行聚合處理，得到第二割接數據。

2.根據權利要求1所述的方法，其特征在于，所述計算機設備包括割接組件，所述對所述待割接數據進行時序處理，得到第一割接數據，包括：

響應用戶輸入的待割接數據的唯一標識、過濾參數和過濾依據；

根據所述唯一標識，確定所述待割接數據的身份信息；

根據所述過濾參數和過濾依據，確定所述待割接數據的時序信息；

通過所述割接組件根據所述身份信息和時序信息，得到第一割接數據。

3.根據權利要求1所述的方法，其特征在于，所述計算機設備與外部數據源連接，所述計算機設備包括消息傳輸組件、數據處理組件、分布式存儲組件和數據庫組件，所述獲取所述計算機設備中存儲的待割接數據包括：

接收所述外部數據源發送的數據，對該數據進行預處理得到待處理數據；

通過消息傳輸組件將所述待處理數據發送至所述數據處理組件進行處理；

將所述數據處理組件處理后的待處理數據發送至分布式存儲組件中備份，得到待割接數據，并將所述數據處理組件處理后的待處理數據發送至數據庫組件。

4.根據權利要求3所述的方法，其特征在于，所述方法還包括：

當所述待割接數據為時序數據時，停止接收所述外部數據源發送的數據，當所述待割接數據非時序數據時，實時接收所述外部數據源發送的數據。

5.根據權利要求3所述的方法，其特征在于，所述方法還包括：

在所述消息傳輸組件中新建任務處理項；

將所述第一割接數據或第二割接數據發送至新建的所述任務處理項中，通過所述任務處理項將所述割接數據發送至所述數據處理組件進行處理；

將所述數據處理組件處理后的割接數據發送至分布式存儲組件中備份，得到目標數據，并將所述數據處理組件處理后的割接數據發送至數據庫組件。

6.根據權利要求3所述的方法，其特征在于，所述計算機設備包括Event Hub和dataAgent，所述接收所述外部數據源發送的數據，對該數據進行預處理得到待處理數據，包括：

通過所述Event Hub接收外部數據源發送的數據，并將該數據發送至dataAgent；

通過所述dataAgent梳理所述外部數據源發送的數據，得到待處理數據。

7.根據權利要求3所述的方法，其特征在于，所述數據處理組件為flink、所述數據庫組件為GreenPlum，所述將所述數據處理組件處理后的待處理數據發送至數據庫組件，包括：

通過所述flink根據預設規則對所述待處理數據進行處理，并將處理后的待處理數據發送至所述GreenPlum。

8.一種數據割接裝置，其特征在于，應用于計算機設備，所述裝置包括：

獲取模塊，用于獲取所述計算機設備中存儲的待割接數據；

判斷模塊，用于判斷所述待割接數據是否為時序數據；若是，則對所述待割接數據進行時序處理，得到第一割接數據；若不是，則對所述待割接數據進行聚合處理，得到第二割接數據。

9.一種計算機設備，其特征在于，所述計算機設備包括處理器及存儲有計算機指令的非易失性存儲器，所述計算機指令被所述處理器執行時，所述計算機設備執行權利要求1-7中任意一項所述的數據割接方法。

10.一種可讀存儲介質，其特征在于，所述可讀存儲介質包括計算機程序，所述計算機程序運行時控制所述可讀存儲介質所在計算機設備執行權利要求1-7中任意一項所述的數據割接方法。