[發(fā)明專利]數(shù)據(jù)割接方法、裝置、計(jì)算機(jī)設(shè)備和可讀存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 201911079664.0
• 申請日: 2019-11-07
• 公開（公告）號: CN110837516A
• 公開（公告）日: 2020-02-25
• 發(fā)明（設(shè)計(jì)）人: 陳龍
• 申請（專利權(quán)）人: 恩億科（北京）數(shù)據(jù)科技有限公司
• 主分類號: G06F16/242
• 分類號: G06F16/242;G06F16/2458
• 代理公司: 北京超成律師事務(wù)所 11646
• 代理人: 劉靜

1.一種數(shù)據(jù)割接方法，其特征在于，應(yīng)用于計(jì)算機(jī)設(shè)備，所述方法包括：

獲取所述計(jì)算機(jī)設(shè)備中存儲的待割接數(shù)據(jù)，判斷所述待割接數(shù)據(jù)是否為時(shí)序數(shù)據(jù)；若是，則對所述待割接數(shù)據(jù)進(jìn)行時(shí)序處理，得到第一割接數(shù)據(jù)；

若不是，則對所述待割接數(shù)據(jù)進(jìn)行聚合處理，得到第二割接數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述計(jì)算機(jī)設(shè)備包括割接組件，所述對所述待割接數(shù)據(jù)進(jìn)行時(shí)序處理，得到第一割接數(shù)據(jù)，包括：

響應(yīng)用戶輸入的待割接數(shù)據(jù)的唯一標(biāo)識、過濾參數(shù)和過濾依據(jù)；

根據(jù)所述唯一標(biāo)識，確定所述待割接數(shù)據(jù)的身份信息；

根據(jù)所述過濾參數(shù)和過濾依據(jù)，確定所述待割接數(shù)據(jù)的時(shí)序信息；

通過所述割接組件根據(jù)所述身份信息和時(shí)序信息，得到第一割接數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述計(jì)算機(jī)設(shè)備與外部數(shù)據(jù)源連接，所述計(jì)算機(jī)設(shè)備包括消息傳輸組件、數(shù)據(jù)處理組件、分布式存儲組件和數(shù)據(jù)庫組件，所述獲取所述計(jì)算機(jī)設(shè)備中存儲的待割接數(shù)據(jù)包括：

接收所述外部數(shù)據(jù)源發(fā)送的數(shù)據(jù)，對該數(shù)據(jù)進(jìn)行預(yù)處理得到待處理數(shù)據(jù)；

通過消息傳輸組件將所述待處理數(shù)據(jù)發(fā)送至所述數(shù)據(jù)處理組件進(jìn)行處理；

將所述數(shù)據(jù)處理組件處理后的待處理數(shù)據(jù)發(fā)送至分布式存儲組件中備份，得到待割接數(shù)據(jù)，并將所述數(shù)據(jù)處理組件處理后的待處理數(shù)據(jù)發(fā)送至數(shù)據(jù)庫組件。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述方法還包括：

當(dāng)所述待割接數(shù)據(jù)為時(shí)序數(shù)據(jù)時(shí)，停止接收所述外部數(shù)據(jù)源發(fā)送的數(shù)據(jù)，當(dāng)所述待割接數(shù)據(jù)非時(shí)序數(shù)據(jù)時(shí)，實(shí)時(shí)接收所述外部數(shù)據(jù)源發(fā)送的數(shù)據(jù)。

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述方法還包括：

在所述消息傳輸組件中新建任務(wù)處理項(xiàng)；

將所述第一割接數(shù)據(jù)或第二割接數(shù)據(jù)發(fā)送至新建的所述任務(wù)處理項(xiàng)中，通過所述任務(wù)處理項(xiàng)將所述割接數(shù)據(jù)發(fā)送至所述數(shù)據(jù)處理組件進(jìn)行處理；

將所述數(shù)據(jù)處理組件處理后的割接數(shù)據(jù)發(fā)送至分布式存儲組件中備份，得到目標(biāo)數(shù)據(jù)，并將所述數(shù)據(jù)處理組件處理后的割接數(shù)據(jù)發(fā)送至數(shù)據(jù)庫組件。

6.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述計(jì)算機(jī)設(shè)備包括Event Hub和dataAgent，所述接收所述外部數(shù)據(jù)源發(fā)送的數(shù)據(jù)，對該數(shù)據(jù)進(jìn)行預(yù)處理得到待處理數(shù)據(jù)，包括：

通過所述Event Hub接收外部數(shù)據(jù)源發(fā)送的數(shù)據(jù)，并將該數(shù)據(jù)發(fā)送至dataAgent；

通過所述dataAgent梳理所述外部數(shù)據(jù)源發(fā)送的數(shù)據(jù)，得到待處理數(shù)據(jù)。

7.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述數(shù)據(jù)處理組件為flink、所述數(shù)據(jù)庫組件為GreenPlum，所述將所述數(shù)據(jù)處理組件處理后的待處理數(shù)據(jù)發(fā)送至數(shù)據(jù)庫組件，包括：

通過所述flink根據(jù)預(yù)設(shè)規(guī)則對所述待處理數(shù)據(jù)進(jìn)行處理，并將處理后的待處理數(shù)據(jù)發(fā)送至所述GreenPlum。

8.一種數(shù)據(jù)割接裝置，其特征在于，應(yīng)用于計(jì)算機(jī)設(shè)備，所述裝置包括：

獲取模塊，用于獲取所述計(jì)算機(jī)設(shè)備中存儲的待割接數(shù)據(jù)；

判斷模塊，用于判斷所述待割接數(shù)據(jù)是否為時(shí)序數(shù)據(jù)；若是，則對所述待割接數(shù)據(jù)進(jìn)行時(shí)序處理，得到第一割接數(shù)據(jù)；若不是，則對所述待割接數(shù)據(jù)進(jìn)行聚合處理，得到第二割接數(shù)據(jù)。

9.一種計(jì)算機(jī)設(shè)備，其特征在于，所述計(jì)算機(jī)設(shè)備包括處理器及存儲有計(jì)算機(jī)指令的非易失性存儲器，所述計(jì)算機(jī)指令被所述處理器執(zhí)行時(shí)，所述計(jì)算機(jī)設(shè)備執(zhí)行權(quán)利要求1-7中任意一項(xiàng)所述的數(shù)據(jù)割接方法。

10.一種可讀存儲介質(zhì)，其特征在于，所述可讀存儲介質(zhì)包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序運(yùn)行時(shí)控制所述可讀存儲介質(zhì)所在計(jì)算機(jī)設(shè)備執(zhí)行權(quán)利要求1-7中任意一項(xiàng)所述的數(shù)據(jù)割接方法。