[發(fā)明專利]一種檢測數(shù)據(jù)丟失的方法及系統(tǒng)在審
| 申請?zhí)枺?/td> | 202010558745.5 | 申請日： | 2020-06-18 |
| 公開（公告）號： | CN111723070A | 公開（公告）日： | 2020-09-29 |
| 發(fā)明（設(shè)計）人： | 劉利剛 | 申請（專利權(quán)）人： | 中國銀行股份有限公司 |
| 主分類號： | G06F16/182 | 分類號： | G06F16/182;G06F11/07 |
| 代理公司： | 北京集佳知識產(chǎn)權(quán)代理有限公司 11227 | 代理人： | 馮柳偉 |
| 地址： | 100818 *** | 國省代碼： | 北京;11 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 一種 檢測 數(shù)據(jù) 丟失 方法 系統(tǒng) | ||
1.一種檢測數(shù)據(jù)丟失的方法，其特征在于，包括：
獲取生產(chǎn)者將數(shù)據(jù)寫入到主題TOPIC中的數(shù)據(jù)條數(shù)作為生產(chǎn)偏移量，獲取消費者從所述TOPIC中消費的數(shù)據(jù)的數(shù)據(jù)條數(shù)作為消費偏移量；
判斷所述生產(chǎn)偏移量與所述消費偏移量是否一致；
若否，則確定所述消費者在消費所述TOPIC中數(shù)據(jù)過程中存在數(shù)據(jù)丟失。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述消費者消費所述TOPIC中數(shù)據(jù)后，若所述生產(chǎn)偏移量與所述消費偏移量一致；所述方法還包括：
獲取所述TOPIC中的數(shù)據(jù)被存儲為所述HDFS文件的數(shù)據(jù)條數(shù)作為分布式HDFS文件偏移量；
判斷所述HDFS文件偏移量與所述消費偏移量是否一致；
若否，則生成第二反饋信息，所述第二反饋信息指示所述TOPIC中的數(shù)據(jù)被存儲為所述HDFS文件過程中存在數(shù)據(jù)丟失。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述消費者消費所述TOPIC中數(shù)據(jù)后，若所述生產(chǎn)偏移量與所述消費偏移量一致；所述方法還包括：
獲取所述TOPIC中的數(shù)據(jù)參與實時計算的數(shù)據(jù)條數(shù)作為實時計算偏移量；
判斷所述實時計算偏移量與所述消費偏移量是否一致；
若否，則生成第三反饋信息，所述第三反饋信息指示所述TOPIC中的數(shù)據(jù)參與實時計算過程中存在數(shù)據(jù)丟失。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：
當(dāng)判斷所述生產(chǎn)偏移量與所述消費偏移量不一致時，獲取所述生產(chǎn)偏移量與所述消費偏移量的第一差值；
若所述第一差值大于第一預(yù)設(shè)閾值，則將所述第一差值寫入到所述第一反饋信息中，所述第一反饋信息用于提示數(shù)據(jù)丟失的數(shù)量。
5.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述方法還包括：
當(dāng)所述HDFS文件偏移量與所述消費偏移量不一致時，獲取所述HDFS文件偏移量與所述消費偏移量的第二差值；
若所述第二差值大于第二預(yù)設(shè)閾值，則將所述第二差值寫入到所述第二反饋信息中，所述第二反饋信息用于提示數(shù)據(jù)丟失的數(shù)量。
6.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述方法還包括：
當(dāng)所述實時計算偏移量與所述消費偏移量不一致時，獲取所述實時計算偏移量與所述消費偏移量的第三差值；
若所述第三差值大于第三預(yù)設(shè)閾值，則將所述第三差值寫入到所述第三反饋信息中，所述第三反饋信息用于提示數(shù)據(jù)丟失的數(shù)量。
7.一種檢測數(shù)據(jù)丟失的系統(tǒng)，其特征在于，包括：獲取單元、判斷單元和反饋單元；
所述獲取單元，用于獲取生產(chǎn)者將數(shù)據(jù)寫入到主題TOPIC中的數(shù)據(jù)條數(shù)作為生產(chǎn)偏移量，獲取消費者從所述TOPIC中消費的數(shù)據(jù)的數(shù)據(jù)條數(shù)作為消費偏移量；
所述判斷單元，用于判斷所述生產(chǎn)偏移量與所述消費偏移量是否一致；
所述反饋單元，若判斷結(jié)果為否時，用于反饋所述消費者在消費所述TOPIC中數(shù)據(jù)過程中存在數(shù)據(jù)丟失。
8.根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于，在所述消費者消費所述TOPIC中數(shù)據(jù)后，若所述生產(chǎn)偏移量與所述消費偏移量一致；所述獲取單元，還用于獲取所述TOPIC中的數(shù)據(jù)被存儲為所述HDFS文件的數(shù)據(jù)條數(shù)作為分布式HDFS文件偏移量；
所述判斷單元，還用于判斷所述HDFS文件偏移量與所述消費偏移量是否一致；
所述反饋單元，若判斷結(jié)果為否時，還用于生成第二反饋信息，所述第二反饋信息指示所述TOPIC中的數(shù)據(jù)被存儲為所述HDFS文件過程中存在數(shù)據(jù)丟失。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于中國銀行股份有限公司，未經(jīng)中國銀行股份有限公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202010558745.5/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
- 數(shù)據(jù)顯示系統(tǒng)、數(shù)據(jù)中繼設(shè)備、數(shù)據(jù)中繼方法、數(shù)據(jù)系統(tǒng)、接收設(shè)備和數(shù)據(jù)讀取方法
- 數(shù)據(jù)記錄方法、數(shù)據(jù)記錄裝置、數(shù)據(jù)記錄媒體、數(shù)據(jù)重播方法和數(shù)據(jù)重播裝置
- 數(shù)據(jù)發(fā)送方法、數(shù)據(jù)發(fā)送系統(tǒng)、數(shù)據(jù)發(fā)送裝置以及數(shù)據(jù)結(jié)構(gòu)
- 數(shù)據(jù)顯示系統(tǒng)、數(shù)據(jù)中繼設(shè)備、數(shù)據(jù)中繼方法及數(shù)據(jù)系統(tǒng)
- 數(shù)據(jù)嵌入裝置、數(shù)據(jù)嵌入方法、數(shù)據(jù)提取裝置及數(shù)據(jù)提取方法
- 數(shù)據(jù)管理裝置、數(shù)據(jù)編輯裝置、數(shù)據(jù)閱覽裝置、數(shù)據(jù)管理方法、數(shù)據(jù)編輯方法以及數(shù)據(jù)閱覽方法
- 數(shù)據(jù)發(fā)送和數(shù)據(jù)接收設(shè)備、數(shù)據(jù)發(fā)送和數(shù)據(jù)接收方法
- 數(shù)據(jù)發(fā)送裝置、數(shù)據(jù)接收裝置、數(shù)據(jù)收發(fā)系統(tǒng)、數(shù)據(jù)發(fā)送方法、數(shù)據(jù)接收方法和數(shù)據(jù)收發(fā)方法
- 數(shù)據(jù)發(fā)送方法、數(shù)據(jù)再現(xiàn)方法、數(shù)據(jù)發(fā)送裝置及數(shù)據(jù)再現(xiàn)裝置
- 數(shù)據(jù)發(fā)送方法、數(shù)據(jù)再現(xiàn)方法、數(shù)據(jù)發(fā)送裝置及數(shù)據(jù)再現(xiàn)裝置
