[發(fā)明專利]一種數(shù)據(jù)處理的方法、裝置、介質(zhì)及電子設(shè)備

有效

• 申請?zhí)枺?/td>: 201910363208.2
• 申請日: 2019-04-30
• 公開（公告）號: CN110110170B
• 公開（公告）日: 2021-12-07
• 發(fā)明（設(shè)計(jì)）人: 駱詩奇
• 申請（專利權(quán)）人: 北京字節(jié)跳動網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號: G06F16/9035
• 分類號: G06F16/9035
• 代理公司: 北京睿馳通程知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11604
• 代理人: 張文平

1.一種數(shù)據(jù)處理的方法，其特征在于，包括：

獲取用戶查詢信息；

根據(jù)所述用戶查詢信息獲取第一數(shù)據(jù)處理能力，其中，所述第一數(shù)據(jù)處理能力包括批處理算法中的批處理任務(wù)數(shù)；

判斷所述第一數(shù)據(jù)處理能力是否滿足第一數(shù)據(jù)處理?xiàng)l件；

若是，則啟動第一數(shù)據(jù)處理算法并根據(jù)所述用戶查詢信息和所述第一數(shù)據(jù)處理算法獲取用戶查詢結(jié)果，其中，所述第一數(shù)據(jù)處理算法是批處理算法，所述批處理算法包括分布式分布的批處理任務(wù)；

若否，則啟動第二數(shù)據(jù)處理算法并根據(jù)所述用戶查詢信息和所述第二數(shù)據(jù)處理算法獲取所述用戶查詢結(jié)果，其中，所述第二數(shù)據(jù)處理算法是指流式數(shù)據(jù)處理算法；

其中，在所述獲取用戶查詢信息后，還包括：

根據(jù)所述用戶查詢信息獲取綜合評估結(jié)果；

判斷所述綜合評估結(jié)果是否滿足第二數(shù)據(jù)處理?xiàng)l件；

若是，則根據(jù)所述用戶查詢信息和第三數(shù)據(jù)處理算法獲取用戶查詢結(jié)果，其中，所述第三數(shù)據(jù)處理算法，是指采用本地系統(tǒng)資源進(jìn)行數(shù)據(jù)處理的算法；

若否，則執(zhí)行所述根據(jù)所述用戶查詢信息獲取第一數(shù)據(jù)處理能力的操作。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述判斷所述批處理任務(wù)數(shù)是否滿足第一數(shù)據(jù)處理?xiàng)l件，包括：

判斷所述批處理任務(wù)數(shù)是否小于預(yù)設(shè)第一閾值。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述啟動第二數(shù)據(jù)處理算法后，還包括：

根據(jù)所述第二數(shù)據(jù)處理算法獲取第一數(shù)據(jù)處理效率；

判斷所述第一數(shù)據(jù)處理效率是否滿足第一效率條件；

若否，關(guān)閉所述第二數(shù)據(jù)處理算法。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述第一數(shù)據(jù)處理效率，包括：所述第二數(shù)據(jù)處理算法的使用率和/或所述第二數(shù)據(jù)處理算法的超時率。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述判斷所述第一數(shù)據(jù)處理效率是否滿足第一效率條件，至少包括以下算法之一：

判斷所述第二數(shù)據(jù)處理算法的使用率是否大于或等于預(yù)設(shè)第二閾值；

判斷所述第二數(shù)據(jù)處理算法的超時率是否小于預(yù)設(shè)第三閾值。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述根據(jù)所述用戶查詢信息獲取第一數(shù)據(jù)處理能力前，還包括：

判斷所述第二數(shù)據(jù)處理算法是否啟動；

若是，則根據(jù)所述用戶查詢信息和所述第二數(shù)據(jù)處理算法獲取用戶查詢結(jié)果；

若否，則執(zhí)行所述根據(jù)所述用戶查詢信息獲取第一數(shù)據(jù)處理能力的操作。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述綜合評估結(jié)果，包括：數(shù)據(jù)量評估結(jié)果和/或數(shù)據(jù)維度評估結(jié)果。

8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述判斷所述綜合評估結(jié)果是否滿足第二數(shù)據(jù)處理?xiàng)l件，包括：

判斷所述綜合評估結(jié)果是否小于預(yù)設(shè)第四閾值。