[發(fā)明專利]數(shù)據(jù)處理方法及裝置

有效

• 申請?zhí)枺?/td>: 202010191386.4
• 申請日: 2020-03-18
• 公開（公告）號: CN111324783B
• 公開（公告）日: 2023-08-29
• 發(fā)明（設計）人: 倪艷
• 申請（專利權(quán)）人: 上海東普信息科技有限公司
• 主分類號: G06F16/901
• 分類號: G06F16/901;G06F16/903
• 代理公司: 蘇州領躍知識產(chǎn)權(quán)代理有限公司 32370
• 代理人: 王寧

1.一種數(shù)據(jù)處理方法，其特征在于，所述方法包括：

從外部導入數(shù)據(jù)并寫入導入隊列；

執(zhí)行過濾腳本對所述導入隊列中的數(shù)據(jù)進行去重過濾后寫入數(shù)據(jù)庫；

其中，所述執(zhí)行過濾腳本對所述導入隊列中的數(shù)據(jù)進行去重過濾后寫入數(shù)據(jù)庫，包括：

從預置的緩存中查詢所述數(shù)據(jù)的處理狀態(tài)；

若查詢到所述數(shù)據(jù)的處理狀態(tài)為預定的處理狀態(tài)，則不將所述數(shù)據(jù)寫入數(shù)據(jù)庫；

若在所述緩存中未查詢到所述數(shù)據(jù)的處理狀態(tài)，則記錄所述數(shù)據(jù)的處理狀態(tài)為待處理，并將所述數(shù)據(jù)寫入數(shù)據(jù)庫；

將數(shù)據(jù)處理期間發(fā)生異常導致處理失敗的異常數(shù)據(jù)重新寫入導入隊列。

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，還包括：

執(zhí)行讀取腳本將數(shù)據(jù)庫中的數(shù)據(jù)分批寫入處理隊列；

執(zhí)行處理腳本對所述處理隊列中的數(shù)據(jù)進行校驗，將校驗通過的數(shù)據(jù)寫入發(fā)送隊列，并更新校驗未通過的數(shù)據(jù)在數(shù)據(jù)庫中的處理狀態(tài)。

3.根據(jù)權(quán)利要求2所述的數(shù)據(jù)處理方法，其特征在于，還包括：

執(zhí)行發(fā)送腳本將寫入發(fā)送隊列的數(shù)據(jù)推送至指定平臺，并更新發(fā)送不成功的數(shù)據(jù)在數(shù)據(jù)庫中的處理狀態(tài)。

4.根據(jù)權(quán)利要求3所述的數(shù)據(jù)處理方法，其特征在于，所述方法還包括：

將數(shù)據(jù)庫中的校驗未通過的數(shù)據(jù)、發(fā)送不成功的數(shù)據(jù)寫入異常隊列，執(zhí)行異常腳本對所述異常隊列中的數(shù)據(jù)進行處理并更新數(shù)據(jù)的處理狀態(tài)。

5.根據(jù)權(quán)利要求2或3所述的數(shù)據(jù)處理方法，其特征在于，去重過濾后寫入數(shù)據(jù)庫的數(shù)據(jù)的處理狀態(tài)為待處理，校驗未通過的數(shù)據(jù)在數(shù)據(jù)庫中的處理狀態(tài)為處理失敗。

6.根據(jù)權(quán)利要求5所述的數(shù)據(jù)處理方法，其特征在于，所述執(zhí)行讀取腳本將數(shù)據(jù)庫中的數(shù)據(jù)分批寫入處理隊列，包括：

從第一時間文件讀取起始時間，執(zhí)行讀取腳本讀取入庫時間在所述起始時間之后第一時長以內(nèi)的處理狀態(tài)為待處理的數(shù)據(jù)并寫入處理隊列；

每次讀取結(jié)束時，將讀取結(jié)束時間寫入所述第一時間文件作為下次讀取的起始時間。

7.根據(jù)權(quán)利要求5所述的數(shù)據(jù)處理方法，其特征在于，所述執(zhí)行讀取腳本將數(shù)據(jù)庫中的數(shù)據(jù)分批寫入處理隊列，包括：

從第二時間文件讀取起始時間T1，執(zhí)行讀取腳本讀取入庫時間在所述起始時間T1之前第二時長t1以內(nèi)的處理狀態(tài)為待處理及處理失敗的數(shù)據(jù)并寫入處理隊列；其中，如果(T2-t1)≤(T1+t2)，則結(jié)束執(zhí)行讀取腳本，T2為當前時間，t2為第三時長；

每次讀取結(jié)束時，將讀取結(jié)束時間寫入所述第二時間文件作為下次讀取的起始時間。

8.一種數(shù)據(jù)處理裝置，其特征在于，所述裝置包括：

錄入模塊，用于從外部導入數(shù)據(jù)并寫入導入隊列；

過濾模塊，用于執(zhí)行過濾腳本對所述導入隊列中的數(shù)據(jù)進行去重過濾后寫入數(shù)據(jù)庫；

所述過濾模塊包括：

查詢單元，用于從預置的緩存中查詢所述數(shù)據(jù)的處理狀態(tài)；

寫入單元，用于若查詢到所述數(shù)據(jù)的處理狀態(tài)為預定的處理狀態(tài)，則不將所述數(shù)據(jù)寫入數(shù)據(jù)庫；

記錄單元，用于若在所述緩存中未查詢到所述數(shù)據(jù)的處理狀態(tài)，則記錄所述數(shù)據(jù)的處理狀態(tài)為待處理，并將所述數(shù)據(jù)寫入數(shù)據(jù)庫；

過濾異常單元，用于將數(shù)據(jù)處理期間發(fā)生異常導致處理失敗的異常數(shù)據(jù)重新寫入導入隊列。