[發(fā)明專利]一種數(shù)據(jù)集成速度的調(diào)整方法、裝置、設(shè)備及介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110590928.X
• 申請日: 2021-05-28
• 公開（公告）號: CN113360557A
• 公開（公告）日: 2021-09-07
• 發(fā)明（設(shè)計）人: 陳屹;戴清良;許祺;陳維強;孫永良;李建偉;于濤;王中偉
• 申請（專利權(quán)）人: 青島海信網(wǎng)絡(luò)科技股份有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/27;G06F16/22;G06F16/21
• 代理公司: 北京同達信恒知識產(chǎn)權(quán)代理有限公司 11291
• 代理人: 杜晶

本申請公開了一種數(shù)據(jù)集成速度的調(diào)整方法、裝置、設(shè)備及介質(zhì)，由于本申請實施例中，可以根據(jù)確定的數(shù)據(jù)源中當前時間段的數(shù)據(jù)量的信息，預(yù)測當前時間段之后的目標時間段的目標數(shù)據(jù)量的信息，并基于預(yù)先保存的數(shù)據(jù)量的信息與運行參數(shù)的對應(yīng)關(guān)系，確定目標運行參數(shù)并調(diào)整數(shù)據(jù)集成的速度，從而能夠保證數(shù)據(jù)量動態(tài)變化與數(shù)據(jù)集成速度調(diào)整的動態(tài)平衡，進而能夠保證數(shù)據(jù)源以及數(shù)據(jù)倉庫的穩(wěn)定運行，避免數(shù)據(jù)倉庫與數(shù)據(jù)源出現(xiàn)宕機。

技術(shù)領(lǐng)域

本申請涉及數(shù)據(jù)集成技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)集成速度的調(diào)整方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)

隨著大數(shù)據(jù)技術(shù)的快速發(fā)展，海量數(shù)據(jù)在匯聚、分析和挖掘等數(shù)據(jù)處理領(lǐng)域發(fā)揮著越來越重要的作用，也成為了越來越重要的數(shù)據(jù)資產(chǎn)。但是在數(shù)據(jù)處理的過程中，原始數(shù)據(jù)零散的分布在不同的數(shù)據(jù)源中，也就是形成了數(shù)據(jù)孤島，因此可以將這些零散分布的數(shù)據(jù)寫入到數(shù)據(jù)倉庫中，從而實現(xiàn)數(shù)據(jù)共享，并保證存儲在數(shù)據(jù)倉庫中的數(shù)據(jù)能夠供人們直接使用。

然而數(shù)據(jù)源中的數(shù)據(jù)量是實時變化的，且可能存在數(shù)據(jù)量動態(tài)變化太劇烈而影響數(shù)據(jù)集成的效果以及數(shù)據(jù)源的穩(wěn)定性。因此，基于數(shù)據(jù)源中的數(shù)據(jù)量的變化趨勢，動態(tài)調(diào)整數(shù)據(jù)集成的速度至關(guān)重要，現(xiàn)有技術(shù)中，傳統(tǒng)的數(shù)據(jù)集成技術(shù)無法根據(jù)數(shù)據(jù)量的變化趨勢，動態(tài)調(diào)整數(shù)據(jù)集成的速度，因此利用現(xiàn)有技術(shù)無法保證數(shù)據(jù)源以及數(shù)據(jù)倉庫的穩(wěn)定運行，甚至會導(dǎo)致數(shù)據(jù)倉庫與數(shù)據(jù)源出現(xiàn)宕機。

發(fā)明內(nèi)容

本申請?zhí)峁┝艘环N數(shù)據(jù)集成速度的調(diào)整方法、裝置、設(shè)備及介質(zhì)，用以解決現(xiàn)有技術(shù)無法動態(tài)調(diào)整數(shù)據(jù)集成的速度，從而無法保證數(shù)據(jù)源以及數(shù)據(jù)倉庫的穩(wěn)定運行，甚至會導(dǎo)致數(shù)據(jù)倉庫與數(shù)據(jù)源出現(xiàn)宕機的問題。

本申請?zhí)峁┝艘环N數(shù)據(jù)集成速度的調(diào)整方法，所述方法包括：

確定數(shù)據(jù)源中當前時間段的數(shù)據(jù)量的信息，根據(jù)所述當前時間段的數(shù)據(jù)量的信息以及預(yù)先設(shè)定的函數(shù)，確定當前時間段之后的目標時間段對應(yīng)的目標數(shù)據(jù)量的信息；

根據(jù)預(yù)先保存的數(shù)據(jù)量的信息與運行參數(shù)的對應(yīng)關(guān)系，確定所述目標數(shù)據(jù)量的信息對應(yīng)的目標運行參數(shù)，并根據(jù)所述目標運行參數(shù)，調(diào)整數(shù)據(jù)集成的速度。

進一步地，所述確定數(shù)據(jù)源中當前時間段的數(shù)據(jù)量的信息之前，所述方法還包括：

確定當前時間段是否為首次確定的時間段；

所述確定數(shù)據(jù)源中當前時間段的數(shù)據(jù)量的信息包括：

若當前時間段為非首次確定的時間段，則根據(jù)所述當前時間段之前的每個時間段確定的數(shù)據(jù)量的信息以及所述預(yù)先設(shè)定的函數(shù)，確定當前時間段的數(shù)據(jù)量的信息；

若當前時間段為首次確定的時間段，則根據(jù)數(shù)據(jù)源中當前時間段內(nèi)的數(shù)據(jù)量以及所述當前時間段的時長，確定當前時間段的數(shù)據(jù)量的信息。

進一步地，所述根據(jù)所述當前時間段的數(shù)據(jù)量的信息以及預(yù)先設(shè)定的函數(shù)，確定當前時間段之后的目標時間段對應(yīng)的目標數(shù)據(jù)量的信息包括：

若當前時間段為非首次確定的時間段，根據(jù)當前時間段的編號以及所述當前時間段之前的時間段的編號，確定當前時間段與所述當前時間段之前的時間段對應(yīng)的權(quán)重；

根據(jù)所述當前時間段與所述當前時間段之前的時間段對應(yīng)的權(quán)重以及所述當前時間段與所述當前時間段之前的時間段的數(shù)據(jù)量的信息中攜帶的數(shù)據(jù)量的增速，確定數(shù)據(jù)量的增速的權(quán)重和，并確定所述權(quán)重和與當前時間段的數(shù)據(jù)量的信息中攜帶的數(shù)據(jù)量的增速的第一和值，將所述第一和值確定為所述目標時間段對應(yīng)的目標數(shù)據(jù)量的增速；

確定所述目標數(shù)據(jù)量的增速與預(yù)先設(shè)定的第一數(shù)值的第一乘積，并確定所述第一乘積與當前時間段末的數(shù)據(jù)量的第二和值，將所述第二和值確定為所述目標時間段對應(yīng)的目標數(shù)據(jù)量的增量。

進一步地，所述根據(jù)所述當前時間段的數(shù)據(jù)量的信息以及預(yù)先設(shè)定的函數(shù)，確定當前時間段之后的目標時間段對應(yīng)的目標數(shù)據(jù)量的信息包括：