[發明專利]一種數據處理方法、系統及存儲介質

在審

• 申請號: 202110981161.3
• 申請日: 2021-08-25
• 公開（公告）號: CN113672624A
• 公開（公告）日: 2021-11-19
• 發明（設計）人: 何旭;楊彥召;薛信釗;郭超;曹陽
• 申請（專利權）人: 中汽創智科技有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2455
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;賈允

1.一種數據處理方法，其特征在于，應用于數據處理系統，所述系統包括數據拉取模塊、數據處理模塊和數據緩存模塊，所述方法包括：

所述數據拉取模塊獲取待寫入數據；

所述數據拉取模塊基于隨機分組策略將所述待寫入數據隨機發送至所述數據處理模塊中的第一線程；

所述第一線程基于字段分組策略將包含相同字段的待寫入數據發送至所述數據緩存模塊中的第二線程；

所述第二線程將所述待寫入數據存儲到所述數據緩存模塊中對應的緩存區域，并將所述緩存區域中滿足預設寫入條件的待寫入數據寫入目標數據庫。

2.根據權利要求1所述的一種數據處理方法，其特征在于，所述系統還包括線程監測模塊，所述方法還包括：

所述線程監測模塊周期性向所述第一線程和所述第二線程發送心跳數據包；

所述數據處理模塊根據所述第一線程對所述心跳數據包的第一反饋，確定所述第一線程中待寫入數據的處理狀態；

所述數據緩存模塊根據所述第二線程對所述心跳數據包的第二反饋，確定所述第二線程中待寫入數據的處理狀態。

3.根據權利要求2所述的一種數據處理方法，其特征在于，所述線程監測模塊周期性向所述第一線程和所述第二線程發送心跳數據包，包括：

所述線程監測模塊基于全復制分組策略分別周期性的向所述數據處理模塊中的各第一線程和所述數據緩存模塊中各第二線程發送心跳數據包。

4.根據權利要求3所述的一種數據處理方法，其特征在于，所述將所述緩存區域中滿足預設寫入條件的待寫入數據寫入目標數據庫，包括：

判斷所述緩存區域中與所述第二線程對應的待寫入數據的數量是否大于等于存儲量閾值；

若所述待寫入數據的數量大于等于所述存儲量閾值，則將所述數據緩存模塊對應的第二線程中的所述待寫入數據寫入所述目標數據庫。

5.根據權利要求4所述的一種數據處理方法，其特征在于，在所述第二線程將所述待寫入數據存儲到所述數據緩存模塊中對應的緩存區域之前，還包括：

獲取當前待寫入數據的目標約束字段；

判斷所述緩存區域中的各待寫入數據中是否存在所述目標約束字段對應的目標數據；

相應的，所述第二線程將所述待寫入數據存儲到所述數據緩存模塊中對應的緩存區域包括：

若存在所述目標數據，所述第二線程基于所述當前待寫入數據更新所述目標數據；

若不存在所述目標數據，所述第二線程將所述當前待寫入數據存儲至所述緩存區域。

6.根據權利要求5所述的一種數據處理方法，其特征在于，在所述第二線程將所述待寫入數據存儲到所述數據緩存模塊中對應的緩存區域之后，還包括：

所述數據緩存模塊判斷所述第二線程從接收到所述心跳數據包至得到所述第二反饋的時間間隔是否大于預設時間閾值；

若大于預設時間閾值，則將所述第二線程中的待寫入數據寫入所述目標數據庫；

若不大于預設時間閾值，則執行判斷所述緩存區域中與所述第二線程對應的待寫入數據的數量是否大于等于存儲量閾值的步驟。

7.根據權利要求6所述的一種數據處理方法，其特征在于，在所述第二線程將所述待寫入數據存儲到所述數據緩存模塊中對應的緩存區域之前，還包括：

所述數據緩存模塊判斷所述緩存區域中是否存在所述第二線程中的待寫入數據對應的表信息；

若不存在所述表信息，則在所述緩存區域中生成與所述待寫入數據相匹配的表信息；

若存在所述表信息，則基于所述待寫入數據的表信息更新所述緩存區域中對應的表信息。

8.根據權利要求7所述的一種數據處理方法，其特征在于，在所述數據緩存模塊判斷所述緩存區域中是否存在所述第二線程中的待寫入數據對應的表信息之前，還包括：

所述數據緩存模塊判斷所述第二線程中的待寫入數據的表信息是否為空；

若是，則丟棄所述第二線程中的待寫入數據；

若否，則執行所述數據緩存模塊判斷所述緩存區域中是否存在所述第二線程中的待寫入數據對應的表信息的步驟。