[發明專利]數據處理方法、裝置和系統、電子設備及存儲介質

在審

• 申請號: 202210582055.2
• 申請日: 2022-05-26
• 公開（公告）號: CN114925125A
• 公開（公告）日: 2022-08-19
• 發明（設計）人: 羅志權
• 申請（專利權）人: 中國平安人壽保險股份有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/2455;G06F16/22
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 廖慧賢

1.一種數據處理方法，其特征在于，所述方法包括：

從預設數據庫中讀取原始數據集和索引信息；

對所述原始數據集進行預處理，得到初步數據集；其中，所述初步數據集包括M條初步子數據，所述索引信息包括N個主鍵，每一主鍵用于標識一條初步子數據，N小于或者等于M；

通過預設的唯一標識對每一初步子數據進行標記處理，得到目標數據，其中，每一所述目標數據包括一條目標子數據和對應的唯一標識；

根據所述主鍵將所述目標數據寫入目標數據庫；

根據預設的輸入順序將所述唯一標識寫入預設的消息隊列；

根據所述消息隊列的輸出順序將所述消息隊列的所述唯一標識提供給K個消費端，以使每一所述消費端獲取所述唯一標識，并根據所述唯一標識從所述目標數據庫獲取所述目標數據，K小于或者等于M。

2.根據權利要求1所述的數據處理方法，其特征在于，所述通過預設的唯一標識對每一初步子數據進行標記處理，得到目標數據的步驟，包括：

獲取M個所述唯一標識，其中，所述唯一標識為字符串；

對所述唯一標識進行排序處理，得到第一標識序列；

根據所述第一標識序列將所述唯一標識寫入每一所述初步子數據對應的預設標簽框中，得到所述目標數據。

3.根據權利要求1所述的數據處理方法，其特征在于，所述根據所述主鍵將所述目標數據寫入目標數據庫的步驟，包括：

對每一所述主鍵進行關鍵字提取，得到每一所述初步子數據的索引關鍵字；

根據所述索引關鍵字對每一所述目標數據進行位置識別，得到每一所述目標子數據的行特征和列特征，其中，所述目標子數據來源于所述初步子數據；

根據所述行特征和所述列特征將對應的每一所述目標數據寫入所述目標數據庫。

4.根據權利要求1所述的數據處理方法，其特征在于，所述根據預設的輸入順序將所述唯一標識寫入預設的消息隊列的步驟，包括：

獲取所述輸入順序，其中，所述輸入順序根據所述唯一標識的字符長度確定；

根據所述輸入順序對所述唯一標識進行排序處理，得到第二標識序列；

根據所述第二標識序列將所述唯一標識寫入所述消息隊列。

5.根據權利要求1所述的數據處理方法，其特征在于，所述對所述原始數據集進行預處理，得到初步數據集的步驟，包括：

對所述原始數據集進行數據清洗處理，得到第一數據集；

對所述第一數據集進行數據去重處理，得到所述初步數據集。

6.根據權利要求1至5任一項所述的數據處理方法，其特征在于，所述根據所述消息隊列的輸出順序將所述消息隊列的所述唯一標識提供給K個消費端，以使每一所述消費端獲取所述唯一標識，并根據所述唯一標識從所述目標數據庫獲取所述目標數據的步驟，包括：

獲取數據發送指令；

根據所述數據發送指令以及所述輸出順序，將所述消息隊列的唯一標識依次發送給K個所述消費端，以使每一所述消費端對獲取到的所述唯一標識進行特征提取，得到標簽字段值，并根據所述標簽字段值對所述目標數據庫的目標數據進行篩選處理，得到所述唯一標識對應的所述目標子數據。

7.一種數據處理裝置，其特征在于，所述裝置包括：

第一獲取模塊，用于從預設數據庫中讀取原始數據集和索引信息；

預處理模塊，用于對所述原始數據集進行預處理，得到初步數據集；其中，所述初步數據集包括M條初步子數據，所述索引信息包括N個主鍵，每一主鍵用于標識一條初步子數據，N小于或者等于M；

標記模塊，用于通過預設的唯一標識對每一初步子數據進行標記處理，得到目標數據，其中，每一所述目標數據包括一條目標子數據和對應的唯一標識；

數據寫入模塊，用于根據所述主鍵將所述目標數據寫入目標數據庫；

標識寫入模塊，用于根據預設的輸入順序將所述唯一標識寫入預設的消息隊列；

發送模塊，用于根據所述消息隊列的輸出順序將所述消息隊列的所述唯一標識提供給K個消費端，以使每一所述消費端獲取所述唯一標識，并根據所述唯一標識從所述目標數據庫獲取所述目標數據，K小于或者等于M。