[發明專利]數據處理系統、方法和裝置

有效

• 申請號: 201710628061.6
• 申請日: 2017-07-28
• 公開（公告）號: CN109309698B
• 公開（公告）日: 2020-09-29
• 發明（設計）人: 喬超
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

本申請實施例公開了數據處理系統、方法和裝置，該系統的一具體實施方式包括：該系統包括第一客戶端、數據同步端和第二客戶端；第一客戶端用于將數據發送指令所指示的數據發送至第一服務器集群組中的第一服務器集群；數據同步端用于將第一服務器集群中的數據同步至第二服務器集群組中的第二服務器集群；第二客戶端用于：從目標第二服務器集群獲取數據；在當前從目標第二服務器集群正在獲取的具有位置信息的數據傳輸中斷時基于位置信息在第二位置信息組集合中確定目標第二位置信息組；在目標第二位置信息組中確定目標第二位置信息；從目標第二位置信息所指示的存儲位置開始繼續獲取數據。該實施方式提高了數據處理系統的穩定性和數據處理效率。

技術領域

本申請涉及計算機技術領域，具體涉及互聯網技術領域，尤其涉及數據處理系統、方法和裝置。

背景技術

現有的數據處理系統(例如Kafka分布式發布訂閱消息系統等)通常采用單服務器集群提供數據存儲服務，例如生產者將所生產的數據通過生產者客戶端發送至該服務器集群，消費者通過消費者客戶端從該服務器集群獲取數據。因此，現有的數據處理系統存在穩定性差和數據處理效率低的問題。

發明內容

本申請實施例的目的在于提出一種改進的數據處理系統、方法和裝置，來解決以上背景技術部分提到的技術問題。

第一方面，本申請實施例提供了一種數據處理系統，該系統包括：第一客戶端、數據同步端和第二客戶端；上述第一客戶端，用于接收數據發送指令，將上述數據發送指令所指示的數據發送至第一服務器集群組中的第一服務器集群；上述數據同步端，用于將上述第一服務器集群組中的第一服務器集群中的數據同步至第二服務器集群組中的第二服務器集群；上述第二客戶端，用于從目標第二服務器集群獲取數據，其中，上述目標第二服務器集群歸屬于上述第二服務器集群組；響應于當前從上述目標第二服務器集群正在獲取的具有位置信息的數據傳輸中斷，則基于上述位置信息，在預先存儲的第二位置信息組集合中確定目標第二位置信息組，其中，上述第二位置信息組集合中的每個第二位置信息組所包括的各條第二位置信息分別對應上述第二服務器集群組中的不同的第二服務器集群，上述目標第二位置信息組中存在與上述位置信息匹配的第二位置信息；從上述目標第二位置信息組中選取第二位置信息作為目標第二位置信息；在上述目標第二位置信息所對應的第二服務器集群中，從上述目標第二位置信息所指示的存儲位置開始繼續獲取數據。

在一些實施例中，上述第二位置信息組集合中的每個第二位置信息對應第一位置信息，上述第一位置信息是存儲在該第二位置信息組中的各條第二位置信息分別指示的存儲位置的數據在所在的第一服務器集群中的存儲位置的信息。

在一些實施例中，上述第二客戶端還用于：在預先存儲的對應關系列表中確定目標對應關系，其中，上述對應關系列表中的每條對應關系包括第二位置信息和第一位置信息，該第二位置信息所指示的存儲位置是上述目標第二服務器集群中的存儲位置，上述目標對應關系是所包括的第二位置信息與上述位置信息匹配的對應關系；在上述第二位置信息組集合中查找所對應的第一位置信息與上述目標對應關系所包括的第一位置信息相同的第二位置信息組，將查找到的第二位置信息組作為目標第二位置信息組。

在一些實施例中，上述位置信息包括索引號，上述對應關系列表中的每條對應關系所包括的第二位置信息包括第一索引號；以及上述第二客戶端還用于：在上述對應關系列表中查找所包括的第二位置信息與上述位置信息相同的對應關系；若未查找到，則在上述對應關系列表中查找所包括的第二位置信息包括目標第一索引號的對應關系，并將查找到的所包括的第二位置信息包括上述目標第一索引號的對應關系作為目標對應關系，其中，上述目標第一索引號滿足以下任意一個條件：與上述索引號大小最接近且小于上述索引號、與上述索引號大小最接近且大于上述索引號。