[發(fā)明專利]一種數(shù)據(jù)處理方法、系統(tǒng)及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110981161.3
• 申請(qǐng)日: 2021-08-25
• 公開(kāi)（公告）號(hào): CN113672624A
• 公開(kāi)（公告）日: 2021-11-19
• 發(fā)明（設(shè)計(jì)）人: 何旭;楊彥召;薛信釗;郭超;曹陽(yáng)
• 申請(qǐng)（專利權(quán)）人: 中汽創(chuàng)智科技有限公司
• 主分類號(hào): G06F16/22
• 分類號(hào): G06F16/22;G06F16/2455
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 郝傳鑫;賈允

本申請(qǐng)公開(kāi)一種數(shù)據(jù)處理方法、系統(tǒng)及存儲(chǔ)介質(zhì)，該方法包括：由數(shù)據(jù)拉取模塊獲取待寫入數(shù)據(jù)；所述數(shù)據(jù)拉取模塊基于隨機(jī)分組策略將所述待寫入數(shù)據(jù)隨機(jī)發(fā)送至數(shù)據(jù)處理模塊中的第一線程；所述第一線程基于字段分組策略將包含相同字段的待寫入數(shù)據(jù)發(fā)送至數(shù)據(jù)緩存模塊中的第二線程；所述第二線程將所述待寫入數(shù)據(jù)存儲(chǔ)到所述數(shù)據(jù)緩存模塊中對(duì)應(yīng)的緩存區(qū)域，并將所述緩存區(qū)域中滿足預(yù)設(shè)寫入條件的待寫入數(shù)據(jù)寫入目標(biāo)數(shù)據(jù)庫(kù)，本申請(qǐng)采用緩存數(shù)據(jù)的預(yù)處理方式對(duì)待寫入數(shù)據(jù)庫(kù)的數(shù)據(jù)進(jìn)行緩存，優(yōu)化了寫入數(shù)據(jù)庫(kù)的流程，緩解了數(shù)據(jù)庫(kù)寫入數(shù)據(jù)的壓力，提高了寫入數(shù)據(jù)庫(kù)的效率和穩(wěn)定性。

技術(shù)領(lǐng)域

本申請(qǐng)涉及數(shù)據(jù)庫(kù)寫入數(shù)據(jù)技術(shù)領(lǐng)域，特別涉及一種數(shù)據(jù)處理方法、系統(tǒng)及存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著車聯(lián)網(wǎng)技術(shù)應(yīng)用不斷深入,各類大數(shù)據(jù)業(yè)務(wù)系統(tǒng)對(duì)寫入數(shù)據(jù)庫(kù)的能力提出了更高的要求,一個(gè)堅(jiān)強(qiáng)、可靠、快速的寫入數(shù)據(jù)庫(kù)的框架對(duì)于日益增長(zhǎng)的數(shù)據(jù)處理業(yè)務(wù)顯得尤為重要。

由車聯(lián)網(wǎng)系統(tǒng)的復(fù)雜性及業(yè)務(wù)要求決定，上送到系統(tǒng)的數(shù)據(jù)具有數(shù)量大、連續(xù)性高、數(shù)據(jù)量有突增現(xiàn)象、數(shù)據(jù)項(xiàng)分批不完整的可能性、數(shù)據(jù)有誤、數(shù)據(jù)庫(kù)字段類型不匹配，同時(shí)還可能存在由于網(wǎng)絡(luò)通信的原因偶爾可能伴隨有重復(fù)數(shù)據(jù)上送的現(xiàn)象，這些數(shù)據(jù)質(zhì)量都加大了數(shù)據(jù)寫入的難度。

因此，需要一種數(shù)據(jù)處理的技術(shù)方案，解決現(xiàn)有技術(shù)中的數(shù)據(jù)庫(kù)寫入方法存在寫入穩(wěn)定性差、寫入數(shù)據(jù)類型不匹配、難以適應(yīng)數(shù)據(jù)由于復(fù)雜性而帶來(lái)的寫入數(shù)據(jù)庫(kù)難，進(jìn)而導(dǎo)致不能及時(shí)將待寫入數(shù)據(jù)及時(shí)寫入至目標(biāo)數(shù)據(jù)庫(kù)的問(wèn)題。

發(fā)明內(nèi)容

為了解決現(xiàn)有技術(shù)的問(wèn)題，本申請(qǐng)實(shí)施例提供了一種數(shù)據(jù)處理方法、系統(tǒng)及存儲(chǔ)介質(zhì)的技術(shù)方案，該技術(shù)方案如下所述：

一方面，提供了一種數(shù)據(jù)處理方法，應(yīng)用于數(shù)據(jù)處理系統(tǒng)，所述系統(tǒng)包括數(shù)據(jù)拉取模塊、數(shù)據(jù)處理模塊和數(shù)據(jù)緩存模塊，所述方法包括：

所述數(shù)據(jù)拉取模塊獲取待寫入數(shù)據(jù)；

所述數(shù)據(jù)拉取模塊基于隨機(jī)分組策略將所述待寫入數(shù)據(jù)隨機(jī)發(fā)送至所述數(shù)據(jù)處理模塊中的第一線程；

所述第一線程基于字段分組策略將包含相同字段的待寫入數(shù)據(jù)發(fā)送至所述數(shù)據(jù)緩存模塊中的第二線程；

所述第二線程將所述待寫入數(shù)據(jù)存儲(chǔ)到所述數(shù)據(jù)緩存模塊中對(duì)應(yīng)的緩存區(qū)域，并將所述緩存區(qū)域中滿足預(yù)設(shè)寫入條件的待寫入數(shù)據(jù)寫入目標(biāo)數(shù)據(jù)庫(kù)。

另一方面，提供了一種數(shù)據(jù)處理系統(tǒng)，所述系統(tǒng)包括數(shù)據(jù)拉取模塊、數(shù)據(jù)處理模塊、數(shù)據(jù)緩存模塊和線程監(jiān)測(cè)模塊；

所述數(shù)據(jù)拉取模塊用于獲取待寫入數(shù)據(jù)，并基于隨機(jī)分組策略將所述待寫入數(shù)據(jù)隨機(jī)發(fā)送至所述數(shù)據(jù)處理模塊中的第一線程；

所述數(shù)據(jù)處理模塊用于基于字段分組策略將包含相同字段的待寫入數(shù)據(jù)發(fā)送至所述數(shù)據(jù)緩存模塊中的第二線程；

所述數(shù)據(jù)緩存模塊用于將所述待寫入數(shù)據(jù)存儲(chǔ)到所述數(shù)據(jù)緩存模塊中對(duì)應(yīng)的緩存區(qū)域，并將所述緩存區(qū)域中滿足預(yù)設(shè)寫入條件的待寫入數(shù)據(jù)寫入目標(biāo)數(shù)據(jù)庫(kù)；

所述線程監(jiān)測(cè)模塊用于周期性向所述第一線程和所述第二線程發(fā)送心跳數(shù)據(jù)包，以使所述數(shù)據(jù)處理模塊根據(jù)所述第一線程對(duì)所述心跳數(shù)據(jù)包的第一反饋，確定所述第一線程中待寫入數(shù)據(jù)的處理狀態(tài)；所述數(shù)據(jù)緩存模塊根據(jù)所述第二線程對(duì)所述心跳數(shù)據(jù)包的第二反饋，確定所述第二線程中待寫入數(shù)據(jù)的處理狀態(tài)。

另一方面提供了一種存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)中存儲(chǔ)有至少一條指令或至少一段程序，所述至少一條指令或所述至少一段程序由處理器加載并執(zhí)行以實(shí)現(xiàn)如上所述的數(shù)據(jù)處理方法。

本申請(qǐng)?zhí)峁┑囊环N數(shù)據(jù)處理方法、系統(tǒng)及存儲(chǔ)介質(zhì)，具有如下技術(shù)效果：