[發明專利]一種索引數據遷移方法、裝置及設備

在審

• 申請號: 202011640278.7
• 申請日: 2020-12-31
• 公開（公告）號: CN112699098A
• 公開（公告）日: 2021-04-23
• 發明（設計）人: 朱潤石;呂浩;杜波;薛永嬌;徐文政
• 申請（專利權）人: 中國農業銀行股份有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/22;G06F16/27
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 郭化雨

本申請實施例公開了一種索引數據遷移方法、裝置及設備，先獲取待遷移索引數據的目標字段數據段，對目標字段數據段進行切分，得到多個待處理任務數據段；再建立與待處理任務數據段對應的待執行遷移任務，根據待執行遷移任務確定待遷移隊列；從待遷移隊列中獲取目標遷移任務，根據目標遷移任務獲取目標任務數據段；最后，將目標任務數據段分配至目標線程；調用目標線程根據目標任務數據段，從原始索引數據庫中獲取待遷移索引數據；通過目標線程將待遷移索引數據寫入目標索引數據庫。如此，通過多線程和分布式架構，可以提高遷移索引數據的遷移效率。部分線程遷移出現問題時不會影響到其他線程的遷移過程。在保證了容錯性的基礎上，提高遷移效率。

技術領域

本申請涉及數據處理領域，具體涉及一種索引數據遷移方法、裝置及設備。

背景技術

在使用互聯網的過程中會產生大量的數據，通常需要將產生的數據儲存至搜索引擎的索引庫中，以便搜索引擎利用索引庫中的索引數據進行查詢和分析。

隨著搜索引擎的不斷優化和更新，為了滿足對索引數據的處理的需要，需要進行搜索引擎的替換。在進行搜索引擎的替換時，如果在新的搜索引擎中重新建立對應的索引數據，需要建立的索引數據的數據量較大，需要耗費較高的成本。因此，需要將原始搜索引擎中的索引數據轉移至新的搜索引擎中。目前，在搜索引擎之間進行索引數據的遷移的效率較低，難以對大量的需要遷移的索引數據進行及時的遷移處理。

發明內容

有鑒于此，本申請實施例提供一種索引數據遷移方法、裝置及設備，能夠實現高效的索引數據的遷移。

為解決上述問題，本申請實施例提供的技術方案如下：

第一方面，本申請提供一種索引數據遷移方法，所述方法包括：

獲取待遷移索引數據的目標字段數據段，對所述目標字段數據段進行切分，得到多個待處理任務數據段；

建立與所述待處理任務數據段對應的待執行遷移任務，根據所述待執行遷移任務確定待遷移隊列；所述待處理任務數據段與所述待執行遷移任務一一對應；

從所述待遷移隊列中獲取目標遷移任務，根據所述目標遷移任務獲取目標任務數據段；所述目標遷移任務為所述待執行遷移任務中的一個或者多個，所述目標任務數據段為與所述目標遷移任務對應的待執行任務數據段；

將所述目標任務數據段分配至目標線程；

調用所述目標線程根據所述目標任務數據段，從原始索引數據庫中獲取所述待遷移索引數據；

通過所述目標線程將所述待遷移索引數據寫入目標索引數據庫。

在一種可能的實現方式中，所述獲取待遷移索引數據的目標字段數據段，對所述目標字段數據段進行切分，得到多個待處理任務數據段，包括：

獲取目標字段起始值和目標字段結束值，根據所述目標字段起始值和所述目標字段結束值確定目標字段數據段；

獲取切分間隔，利用所述切分間隔對所述目標字段數據段進行劃分，得到多個待處理任務數據段。

在一種可能的實現方式中，所述方法還包括：

獲取所述各個待處理任務數據段所對應的待遷移索引數據的數量；

計算所述各個待處理任務數據段所對應的待遷移索引數據的數量之間的差值，判斷所述差值是否小于目標差值；

若所述差值大于或者等于目標差值，對待遷移索引數據的數量大于目標數量的待處理任務數據段進行劃分，得到重新劃分后的待處理任務數據段。

在一種可能的實現方式中，所述建立與所述待處理任務數據段對應的待執行遷移任務，根據所述待執行遷移任務確定待遷移隊列，包括：

建立與所述待處理任務數據段對應的待執行遷移任務；