[發(fā)明專利]一種檢測(cè)數(shù)據(jù)丟失的方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010558745.5
• 申請(qǐng)日: 2020-06-18
• 公開(kāi)（公告）號(hào): CN111723070A
• 公開(kāi)（公告）日: 2020-09-29
• 發(fā)明（設(shè)計(jì)）人: 劉利剛
• 申請(qǐng)（專利權(quán)）人: 中國(guó)銀行股份有限公司
• 主分類號(hào): G06F16/182
• 分類號(hào): G06F16/182;G06F11/07
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 馮柳偉

本申請(qǐng)公開(kāi)了一種檢測(cè)數(shù)據(jù)丟失的方法及系統(tǒng)，所述方法包括獲取生產(chǎn)者將數(shù)據(jù)寫(xiě)入到主題TOPIC中的數(shù)據(jù)條數(shù)作為生產(chǎn)偏移量，獲取消費(fèi)者從所述TOPIC中消費(fèi)的數(shù)據(jù)的數(shù)據(jù)條數(shù)作為消費(fèi)偏移量；判斷所述生產(chǎn)偏移量與所述消費(fèi)偏移量是否一致；若否，則確定所述消費(fèi)者在消費(fèi)所述TOPIC中數(shù)據(jù)過(guò)程中存在數(shù)據(jù)丟失。本申請(qǐng)?zhí)峁┑募夹g(shù)方案可以獲取生產(chǎn)偏移量和消費(fèi)偏移量，然后比較生產(chǎn)偏移量和消費(fèi)偏移量是否一致，進(jìn)而可以得知消費(fèi)者在消費(fèi)目標(biāo)類TOPIC中數(shù)據(jù)過(guò)程中時(shí)存在數(shù)據(jù)丟失。

技術(shù)領(lǐng)域

本申請(qǐng)涉及計(jì)算機(jī)技術(shù)領(lǐng)域，特別是涉及一種檢測(cè)數(shù)據(jù)丟失的方法及系統(tǒng)。

背景技術(shù)

Kafka是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，在Kafka中包括生產(chǎn)者、消費(fèi)者和主題TOPIC。生產(chǎn)者在寫(xiě)入數(shù)據(jù)時(shí)，會(huì)將數(shù)據(jù)發(fā)布到目標(biāo)類TOPIC，消費(fèi)者通常以消費(fèi)者組的形式從目標(biāo)類TOPIC消費(fèi)數(shù)據(jù)，消費(fèi)者組包括多個(gè)消費(fèi)者。

消費(fèi)者在消費(fèi)目標(biāo)類TOPIC中全部數(shù)據(jù)后，可以保證需要處理的數(shù)據(jù)均被處理。但是，生產(chǎn)者寫(xiě)入的數(shù)據(jù)中存在不符合規(guī)則的數(shù)據(jù)時(shí)，消費(fèi)者會(huì)直接跳過(guò)該部分?jǐn)?shù)據(jù)，導(dǎo)致該部分?jǐn)?shù)據(jù)無(wú)法被消費(fèi)者消費(fèi)，也就是說(shuō)該部分?jǐn)?shù)據(jù)被丟失。

但是，消費(fèi)者在消費(fèi)目標(biāo)類TOPIC中數(shù)據(jù)過(guò)程中，無(wú)法得知是否存在丟數(shù)據(jù)的問(wèn)題。

發(fā)明內(nèi)容

為了解決上述技術(shù)問(wèn)題，本申請(qǐng)?zhí)峁┝艘环N檢測(cè)數(shù)據(jù)丟失的方法及系統(tǒng)，可以得知消費(fèi)者在消費(fèi)目標(biāo)類TOPIC中數(shù)據(jù)過(guò)程中時(shí)存在數(shù)據(jù)丟失。

本申請(qǐng)實(shí)施例公開(kāi)了如下技術(shù)方案：

第一方面，本申請(qǐng)?zhí)峁┝艘环N檢測(cè)數(shù)據(jù)丟失的方法，包括：

獲取生產(chǎn)者將數(shù)據(jù)寫(xiě)入到主題TOPIC中的數(shù)據(jù)條數(shù)作為生產(chǎn)偏移量，獲取消費(fèi)者從所述TOPIC中消費(fèi)的數(shù)據(jù)的數(shù)據(jù)條數(shù)作為消費(fèi)偏移量；判斷所述生產(chǎn)偏移量與所述消費(fèi)偏移量是否一致；若否，則確定所述消費(fèi)者在消費(fèi)所述TOPIC中數(shù)據(jù)過(guò)程中存在數(shù)據(jù)丟失

可選的，在所述消費(fèi)者消費(fèi)所述TOPIC中數(shù)據(jù)后，若所述生產(chǎn)偏移量與所述消費(fèi)偏移量一致；所述方法還包括：獲取所述TOPIC中的數(shù)據(jù)被存儲(chǔ)為所述HDFS文件的數(shù)據(jù)條數(shù)作為分布式HDFS文件偏移量；判斷所述HDFS文件偏移量與所述消費(fèi)偏移量是否一致；若否，則生成第二反饋信息，所述第二反饋信息指示所述TOPIC中的數(shù)據(jù)被存儲(chǔ)為所述HDFS文件過(guò)程中存在數(shù)據(jù)丟失。

可選的，在所述消費(fèi)者消費(fèi)所述TOPIC中數(shù)據(jù)后，若所述生產(chǎn)偏移量與所述消費(fèi)偏移量一致；所述方法還包括：獲取所述TOPIC中的數(shù)據(jù)參與實(shí)時(shí)計(jì)算的數(shù)據(jù)條數(shù)作為實(shí)時(shí)計(jì)算偏移量；判斷所述實(shí)時(shí)計(jì)算偏移量與所述消費(fèi)偏移量是否一致；若否，則生成第三反饋信息，所述第三反饋信息指示所述TOPIC中的數(shù)據(jù)參與實(shí)時(shí)計(jì)算過(guò)程中存在數(shù)據(jù)丟失。

可選的，所述方法還包括：當(dāng)判斷所述生產(chǎn)偏移量與所述消費(fèi)偏移量不一致時(shí)，獲取所述生產(chǎn)偏移量與所述消費(fèi)偏移量的第一差值；若所述第一差值大于第一預(yù)設(shè)閾值，則將所述第一差值寫(xiě)入到所述第一反饋信息中，所述第一反饋信息用于提示數(shù)據(jù)丟失的數(shù)量。

所述方法還包括：當(dāng)所述HDFS文件偏移量與所述消費(fèi)偏移量不一致時(shí)，獲取所述HDFS文件偏移量與所述消費(fèi)偏移量的第二差值；若所述第二差值大于第二預(yù)設(shè)閾值，則將所述第二差值寫(xiě)入到所述第二反饋信息中，所述第二反饋信息用于提示數(shù)據(jù)丟失的數(shù)量。

所述方法還包括：當(dāng)所述實(shí)時(shí)計(jì)算偏移量與所述消費(fèi)偏移量不一致時(shí)，獲取所述實(shí)時(shí)計(jì)算偏移量與所述消費(fèi)偏移量的第三差值；若所述第三差值大于第三預(yù)設(shè)閾值，則將所述第三差值寫(xiě)入到所述第三反饋信息中，所述第三反饋信息用于提示數(shù)據(jù)丟失的數(shù)量。