[發(fā)明專利]數(shù)據(jù)處理方法、裝置、電子設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110497751.9
• 申請(qǐng)日: 2021-05-08
• 公開（公告）號(hào): CN112988429B
• 公開（公告）日: 2021-08-06
• 發(fā)明（設(shè)計(jì)）人: 陳佛林;高斌
• 申請(qǐng)（專利權(quán)）人: 成都新希望金融信息有限公司
• 主分類號(hào): G06F9/54
• 分類號(hào): G06F9/54
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 蔣姍

1.一種數(shù)據(jù)處理方法，其特征在于，包括：

將當(dāng)前消息寫入對(duì)應(yīng)的數(shù)據(jù)存儲(chǔ)表中；

使用一個(gè)處理線程或多個(gè)處理線程將所述數(shù)據(jù)存儲(chǔ)表中的消息進(jìn)行處理，并將處理得到的已處理數(shù)據(jù)存入所述數(shù)據(jù)存儲(chǔ)表中，以得到第二身份標(biāo)識(shí)表，所述第二身份標(biāo)識(shí)表用于存儲(chǔ)各個(gè)消息分區(qū)中已處理數(shù)據(jù)中身份標(biāo)識(shí)優(yōu)先級(jí)最低的身份標(biāo)識(shí)；

使用目標(biāo)消息分區(qū)對(duì)應(yīng)的目標(biāo)消費(fèi)線程，從所述第二身份標(biāo)識(shí)表中獲取所述目標(biāo)消息分區(qū)的當(dāng)前身份標(biāo)識(shí)；

根據(jù)所述當(dāng)前身份標(biāo)識(shí)從所述數(shù)據(jù)存儲(chǔ)表中的所述目標(biāo)消息分區(qū)對(duì)應(yīng)的位置確定出所述目標(biāo)消息分區(qū)的所有已處理數(shù)據(jù)；

確定出所述目標(biāo)消息分區(qū)的所有已消費(fèi)數(shù)據(jù)；

根據(jù)所述目標(biāo)消息分區(qū)的所有已處理數(shù)據(jù)，確定出所述目標(biāo)消息分區(qū)的所有已處理數(shù)據(jù)中優(yōu)先級(jí)最高的身份標(biāo)識(shí)；

根據(jù)所述目標(biāo)消息分區(qū)的所有已消費(fèi)數(shù)據(jù)、所述目標(biāo)消息分區(qū)的當(dāng)前身份標(biāo)識(shí)以及所述目標(biāo)消息分區(qū)的所有已處理數(shù)據(jù)中優(yōu)先級(jí)最高的身份標(biāo)識(shí)，確定出所述目標(biāo)消息分區(qū)中的可消費(fèi)數(shù)據(jù)；

從所述目標(biāo)消息分區(qū)對(duì)應(yīng)的數(shù)據(jù)存儲(chǔ)表中，按照身份標(biāo)識(shí)的優(yōu)先級(jí)從高到低獲取所述可消費(fèi)數(shù)據(jù)；

在所述消費(fèi)線程讀取成功所述已處理數(shù)據(jù)后，將讀取成功的所述已處理數(shù)據(jù)標(biāo)記成已消費(fèi)數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，所述將當(dāng)前消息寫入對(duì)應(yīng)的數(shù)據(jù)存儲(chǔ)表中，包括：

根據(jù)當(dāng)前消息的當(dāng)前消息身份標(biāo)識(shí)確定出所述當(dāng)前消息所屬的第一消息分區(qū)；

將所述當(dāng)前消息身份標(biāo)識(shí)寫入第一身份標(biāo)識(shí)表中所述第一消息分區(qū)對(duì)應(yīng)的位置；

將所述當(dāng)前消息寫入所述第一消息分區(qū)對(duì)應(yīng)的數(shù)據(jù)存儲(chǔ)表中。

3.根據(jù)權(quán)利要求2所述的數(shù)據(jù)處理方法，其特征在于，所述使用一個(gè)處理線程或多個(gè)處理線程將所述數(shù)據(jù)存儲(chǔ)表中的消息進(jìn)行處理，并將處理得到的已處理數(shù)據(jù)存入所述數(shù)據(jù)存儲(chǔ)表中，包括：

從所述第一身份標(biāo)識(shí)表中獲取待處理身份標(biāo)識(shí)；

根據(jù)所述待處理身份標(biāo)識(shí)，確定出所述待處理身份標(biāo)識(shí)對(duì)應(yīng)的第二消息分區(qū)；

從所述數(shù)據(jù)存儲(chǔ)表中所述第二消息分區(qū)對(duì)應(yīng)的位置中獲取所述待處理身份標(biāo)識(shí)對(duì)應(yīng)的待處理消息；

對(duì)所述待處理消息按照設(shè)定處理邏輯進(jìn)行處理；

若對(duì)所述待處理消息處理成功，則基于所述待處理身份標(biāo)識(shí)對(duì)第二身份標(biāo)識(shí)表進(jìn)行更新，并將所述待處理身份標(biāo)識(shí)對(duì)應(yīng)的已處理數(shù)據(jù)寫入所述第二消息分區(qū)對(duì)應(yīng)的數(shù)據(jù)存儲(chǔ)表中。

4.根據(jù)權(quán)利要求3所述的數(shù)據(jù)處理方法，其特征在于，所述方法還包括：

若對(duì)所述待處理消息處理失敗，則將所述待處理身份標(biāo)識(shí)寫入所述第一身份標(biāo)識(shí)表。

5.根據(jù)權(quán)利要求3所述的數(shù)據(jù)處理方法，其特征在于，所述方法還包括：

若一處理線程從所述第一身份標(biāo)識(shí)表中第三消息分區(qū)對(duì)應(yīng)的子表中未獲取到身份標(biāo)識(shí)，則判斷所述第二身份標(biāo)識(shí)表中第三消息分區(qū)對(duì)應(yīng)的身份標(biāo)識(shí)中記錄的身份標(biāo)識(shí)是否為已處理數(shù)據(jù)中可消費(fèi)數(shù)據(jù)的優(yōu)先級(jí)最低的身份標(biāo)識(shí)；

若所述第二身份標(biāo)識(shí)表中第三消息分區(qū)對(duì)應(yīng)的身份標(biāo)識(shí)中記錄的身份標(biāo)識(shí)不是已處理數(shù)據(jù)中可消費(fèi)數(shù)據(jù)的最大身份標(biāo)識(shí)，則將所述第二身份標(biāo)識(shí)表中第三消息分區(qū)對(duì)應(yīng)的身份標(biāo)識(shí)更新為所述可消費(fèi)數(shù)據(jù)中身份標(biāo)識(shí)優(yōu)先級(jí)最低的身份標(biāo)識(shí)最大身份標(biāo)識(shí)。

6.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，所述在所述消費(fèi)線程讀取成功所述已處理數(shù)據(jù)后，將讀取成功的所述已處理數(shù)據(jù)標(biāo)記為已消費(fèi)數(shù)據(jù)，包括：

在所述消費(fèi)線程讀取成功所述已處理數(shù)據(jù)后，根據(jù)當(dāng)前獲取的已處理數(shù)據(jù)的身份標(biāo)識(shí)對(duì)第三身份標(biāo)識(shí)表進(jìn)行更新，所述第三身份標(biāo)識(shí)表中的身份標(biāo)識(shí)對(duì)應(yīng)的數(shù)據(jù)為已消費(fèi)數(shù)據(jù)；

將所述第三身份標(biāo)識(shí)表中記錄的身份標(biāo)識(shí)對(duì)應(yīng)的已消費(fèi)數(shù)據(jù)從所述數(shù)據(jù)存儲(chǔ)表中刪除。