[發(fā)明專利]基于人工智能的數(shù)據(jù)處理方法、裝置、設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202211262585.5
• 申請日: 2022-10-14
• 公開（公告）號: CN115599838B
• 公開（公告）日: 2023-09-29
• 發(fā)明（設(shè)計）人: 陰智輝;曹彪
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/27
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 李禮

1.一種基于人工智能的數(shù)據(jù)處理方法，包括：

獲取待處理數(shù)據(jù)，并確定所述待處理數(shù)據(jù)對應(yīng)的存儲數(shù)據(jù)分布的掃描單元空間；其中，所述掃描單元空間是單次掃描的掃描開始位置到掃描結(jié)束位置之間的存儲空間；所述掃描單元空間包括至少一個數(shù)據(jù)分片或部分數(shù)據(jù)分片；

在所述待處理數(shù)據(jù)中，將對應(yīng)于同一個分布的掃描單元空間的數(shù)據(jù)進行分散，確定所述待處理數(shù)據(jù)的分散處理順序；其中，所述處理順序包括掃描單元空間的處理順序，以及待處理數(shù)據(jù)中對應(yīng)于各掃描單元空間的數(shù)據(jù)的處理順序；

按照所述分散處理順序，調(diào)用所述待處理數(shù)據(jù)對應(yīng)的掃描單元空間所屬的數(shù)據(jù)庫，以使所述所屬的數(shù)據(jù)庫異步處理所述待處理數(shù)據(jù)對應(yīng)的存儲數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述按照所述分散處理順序，調(diào)用所述待處理數(shù)據(jù)對應(yīng)的掃描單元空間所屬的數(shù)據(jù)庫，包括：

根據(jù)所述分散處理順序，在所述掃描單元空間中選擇當前單元空間；

針對當前單元空間，獲取所述待處理數(shù)據(jù)中對應(yīng)于所述當前單元空間的目標數(shù)據(jù)；

在所述目標數(shù)據(jù)中選擇當前數(shù)據(jù)；

根據(jù)所述當前數(shù)據(jù)，調(diào)用所述當前單元空間所屬的數(shù)據(jù)庫，以對所述當前數(shù)據(jù)對應(yīng)的存儲數(shù)據(jù)進行異步處理。

3.根據(jù)權(quán)利要求2所述的方法，所述當前數(shù)據(jù)的數(shù)量小于等于預(yù)設(shè)數(shù)量閾值。

4.根據(jù)權(quán)利要求1所述的方法，還包括：

獲取所述分布的掃描單元空間所屬的數(shù)據(jù)庫；

獲取所述所屬的數(shù)據(jù)庫的異步處理壓力信息；

根據(jù)所述所屬的數(shù)據(jù)庫的異步處理壓力信息，在所述所屬的數(shù)據(jù)庫中，篩選目標數(shù)據(jù)庫；

在所述目標數(shù)據(jù)庫中，將所述待處理數(shù)據(jù)對應(yīng)的掃描單元空間中的存儲數(shù)據(jù)移動到其他的數(shù)據(jù)庫進行存儲。

5.根據(jù)權(quán)利要求4所述的方法，其中，所述將所述待處理數(shù)據(jù)對應(yīng)的掃描單元空間中存儲數(shù)據(jù)移動到其他的數(shù)據(jù)庫進行存儲，包括：

在所述待處理數(shù)據(jù)對應(yīng)的掃描單元空間中，獲取所述待處理數(shù)據(jù)對應(yīng)的存儲數(shù)據(jù)的存儲數(shù)量；

在所述存儲數(shù)量在預(yù)設(shè)數(shù)量范圍的情況下，將所述待處理數(shù)據(jù)對應(yīng)的掃描單元空間中存儲數(shù)據(jù)移動到其他的數(shù)據(jù)庫進行存儲。

6.根據(jù)權(quán)利要求2所述的方法，其中，所述根據(jù)所述當前數(shù)據(jù)，調(diào)用所述當前單元空間所屬的數(shù)據(jù)庫，包括：

生成所述當前數(shù)據(jù)對應(yīng)的新版本數(shù)據(jù)；

將所述新版本數(shù)據(jù)寫入所述當前單元空間所屬的數(shù)據(jù)庫中；

調(diào)用所述當前單元空間所屬的數(shù)據(jù)庫，以對所述當前數(shù)據(jù)對應(yīng)的存儲數(shù)據(jù)和所述新版本數(shù)據(jù)進行異步處理。

7.根據(jù)權(quán)利要求6所述的方法，其中，所述待處理數(shù)據(jù)包括待刪除數(shù)據(jù)和/或待修改數(shù)據(jù)。

8.根據(jù)權(quán)利要求1所述的方法，其中，所述按照所述分散處理順序，調(diào)用所述待處理數(shù)據(jù)對應(yīng)的掃描單元空間所屬的數(shù)據(jù)庫，包括：

通過多線程并行方式執(zhí)行如下步驟：

根據(jù)所述分散處理順序，在所述掃描單元空間中選擇當前單元空間；

針對當前單元空間，獲取所述待處理數(shù)據(jù)中對應(yīng)于所述當前單元空間的目標數(shù)據(jù)；

在所述目標數(shù)據(jù)中選擇當前數(shù)據(jù)；

根據(jù)所述當前數(shù)據(jù)，調(diào)用所述當前單元空間所屬的數(shù)據(jù)庫，以對所述當前數(shù)據(jù)對應(yīng)的存儲數(shù)據(jù)進行異步處理。