[發(fā)明專利]數(shù)據(jù)處理方法、裝置、計算機設(shè)備和存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202010901630.1
• 申請日: 2020-08-31
• 公開（公告）號: CN112035481B
• 公開（公告）日: 2023-10-27
• 發(fā)明（設(shè)計）人: 姬華強;錢學(xué)廣
• 申請（專利權(quán)）人: 中國平安財產(chǎn)保險股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2455;G06F16/28;G06F16/182
• 代理公司: 深圳市力道知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44507
• 代理人: 張傳義

本申請涉及人工智能領(lǐng)域，通過對待處理數(shù)據(jù)表進行時間分割，將時間分割范圍內(nèi)的待處理數(shù)據(jù)依次存儲到目標(biāo)數(shù)據(jù)庫中，提高了系統(tǒng)的數(shù)據(jù)查詢性能和數(shù)據(jù)存儲效率。尤其涉及一種數(shù)據(jù)處理方法、裝置、計算機設(shè)備和存儲介質(zhì)，該數(shù)據(jù)處理方法包括：獲取待處理數(shù)據(jù)，根據(jù)預(yù)設(shè)的分配策略將待處理數(shù)據(jù)分配到待處理數(shù)據(jù)表中；根據(jù)待處理數(shù)據(jù)對應(yīng)的獲取時間以及根據(jù)待處理數(shù)據(jù)表對應(yīng)的數(shù)據(jù)量，確定待處理數(shù)據(jù)表對應(yīng)的時間分割信息；根據(jù)待處理數(shù)據(jù)表對應(yīng)的時間分割信息，確定待處理數(shù)據(jù)表對應(yīng)的多個待執(zhí)行任務(wù)，并執(zhí)行多個待執(zhí)行任務(wù)，以將待處理數(shù)據(jù)表中的待處理數(shù)據(jù)存儲到目標(biāo)數(shù)據(jù)庫中。此外，本申請還涉及區(qū)塊鏈技術(shù)，待處理數(shù)據(jù)表可存儲于區(qū)塊鏈中。

技術(shù)領(lǐng)域

本申請涉及人工智能領(lǐng)域，尤其涉及一種數(shù)據(jù)處理方法、裝置、計算機設(shè)備和存儲介質(zhì)。

背景技術(shù)

現(xiàn)有的業(yè)務(wù)數(shù)據(jù)系統(tǒng)在同步海量的業(yè)務(wù)數(shù)據(jù)時，常常需要從大數(shù)據(jù)平臺中將業(yè)務(wù)數(shù)據(jù)同步到postgresql庫中，再從postgresql庫中將業(yè)務(wù)數(shù)據(jù)合并到目標(biāo)數(shù)據(jù)庫中。

在處理業(yè)務(wù)數(shù)據(jù)過程中，由于數(shù)據(jù)量過大，業(yè)務(wù)數(shù)據(jù)系統(tǒng)無法一次處理所有的業(yè)務(wù)數(shù)據(jù)，需要分批處理。現(xiàn)有的業(yè)務(wù)數(shù)據(jù)系統(tǒng)處理業(yè)務(wù)數(shù)據(jù)時，存在以下問題：在分批處理業(yè)務(wù)數(shù)據(jù)時，為了提高性能會把已經(jīng)處理的業(yè)務(wù)數(shù)據(jù)進行刪除，但是頻繁的刪除操作導(dǎo)致postgresql庫中的vacuum進程無法回收表空間，不斷地降低業(yè)務(wù)數(shù)據(jù)系統(tǒng)的性能，影響業(yè)務(wù)數(shù)據(jù)系統(tǒng)處理數(shù)據(jù)的效率。

因此如何提高業(yè)務(wù)數(shù)據(jù)系統(tǒng)處理數(shù)據(jù)的性能和效率成為亟需解決的問題。

發(fā)明內(nèi)容

本申請?zhí)峁┝艘环N數(shù)據(jù)處理方法、裝置、計算機設(shè)備和存儲介質(zhì)，通過對待處理數(shù)據(jù)表中的待處理數(shù)據(jù)進行時間分割，將時間分割范圍內(nèi)的待處理數(shù)據(jù)依次存儲到目標(biāo)數(shù)據(jù)庫中，提高了系統(tǒng)的數(shù)據(jù)查詢性能和數(shù)據(jù)存儲效率。

第一方面，本申請?zhí)峁┝艘环N數(shù)據(jù)處理方法，所述方法包括：

獲取待處理數(shù)據(jù)，根據(jù)預(yù)設(shè)的分配策略將所述待處理數(shù)據(jù)分配到待處理數(shù)據(jù)表中；

根據(jù)所述待處理數(shù)據(jù)表中的待處理數(shù)據(jù)對應(yīng)的獲取時間以及根據(jù)所述待處理數(shù)據(jù)表對應(yīng)的數(shù)據(jù)量，確定所述待處理數(shù)據(jù)表對應(yīng)的時間分割信息；

根據(jù)所述待處理數(shù)據(jù)表對應(yīng)的時間分割信息，確定所述待處理數(shù)據(jù)表對應(yīng)的多個待執(zhí)行任務(wù)，并執(zhí)行多個所述待執(zhí)行任務(wù)，以將所述待處理數(shù)據(jù)表中的待處理數(shù)據(jù)存儲到目標(biāo)數(shù)據(jù)庫中。

第二方面，本申請還提供了一種數(shù)據(jù)處理裝置，所述裝置包括：

數(shù)據(jù)獲取模塊，用于獲取待處理數(shù)據(jù)，根據(jù)預(yù)設(shè)的分配策略將所述待處理數(shù)據(jù)分配到待處理數(shù)據(jù)表中；

時間分割模塊，用于根據(jù)所述待處理數(shù)據(jù)表中的待處理數(shù)據(jù)對應(yīng)的獲取時間以及根據(jù)所述待處理數(shù)據(jù)表對應(yīng)的數(shù)據(jù)量，確定所述待處理數(shù)據(jù)表對應(yīng)的時間分割信息；

數(shù)據(jù)存儲模塊，用于根據(jù)所述待處理數(shù)據(jù)表對應(yīng)的時間分割信息，確定所述待處理數(shù)據(jù)表對應(yīng)的多個待執(zhí)行任務(wù)，并執(zhí)行多個所述待執(zhí)行任務(wù)，以將所述待處理數(shù)據(jù)表中的待處理數(shù)據(jù)存儲到目標(biāo)數(shù)據(jù)庫中。

第三方面，本申請還提供了一種計算機設(shè)備，所述計算機設(shè)備包括存儲器和處理器；

所述存儲器，用于存儲計算機程序；

所述處理器，用于執(zhí)行所述計算機程序并在執(zhí)行所述計算機程序時實現(xiàn)如上述的數(shù)據(jù)處理方法。

第四方面，本申請還提供了一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)存儲有計算機程序，所述計算機程序被處理器執(zhí)行時使所述處理器實現(xiàn)如上述的數(shù)據(jù)處理方法。