[發明專利]面向分布式系統的數據發布方法、裝置、系統及存儲介質

在審

• 申請號: 201810947139.5
• 申請日: 2018-08-20
• 公開（公告）號: CN109088931A
• 公開（公告）日: 2018-12-25
• 發明（設計）人: 胡陽
• 申請（專利權）人: 北京粉筆藍天科技有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京中政聯科專利代理事務所(普通合伙) 11489
• 代理人: 陳超

一種面向分布式系統的數據發布方法、裝置、系統及計算機可讀存儲介質，設置生產者、中間人、消費者三種系統角色，各角色之間定時輪詢，在需要同步數據時，建立連接同步數據，并更新數據版本。所述方法包括：生產者生成并保存原始數據；生產者根據中間人的反饋發送所述原始數據；中間人接收生產者發送的所述原始數據；消費者根據需要向所述中間人獲取所述原始數據。通過上述方法，本發明能夠有效減少數據發布時間，減少系統資源浪費。

技術領域

本發明涉及分布式系統領域，具體涉及一種面向分布式系統的數據發布方法、裝置、系統及計算機可讀存儲介質。

背景技術

在分布式系統中，同一份數據通常被多套系統所應用。為保證數據的高可用，通常，我們會將數據從源系統發布至需要應用的系統。這個過程稱為數據發布。這些數據副本會存儲在不同的系統中。為了對用戶提供正確可靠的服務，我們需要保證這些放置在不同系統上的數據副本是一致的，即數據的一致性。

目前，分布式系統的數據發布多有以下三個特點：1、發布數據量大，2、涉及系統多，3、發布環境復雜。與此同時，數據發布方法也存在如下問題：1、發布時間長，2、發布流程復雜。目前，常用的數據發布方法為二階段提交方法。二階段提交方法將系統角色分為兩類：一類為協調者，通常只有一個；另一類為事務參與者，通常包含多個。二階段提交將數據發布分為兩個階段，分別為請求階段和提交階段。在請求階段，協調者將通知事務參與者準備提交或取消事務，然后進入表決過程。在表決過程中，參與者將告知協調者自己的決策：同意或取消。在提交階段，協調者將基于第一個階段的投票結果進行決策：提交或取消。當且僅當所有的參與者同意提交事務協調者才通知所有的參與者提交事務，否則協調者將通知所有的參與者取消事務。參與者在接收到協調者發來的消息后將執行響應的操作。二階段提交方法有如下缺點：(1)消耗時間長。由于需要同步所有角色的狀態，以及數據發布時大規模地傳輸，二階段提交的耗時能夠長達幾分鐘至幾十分鐘不等。(2)浪費系統資源。由于數據發布可能會隨時進行，所以協調者與參與者需要一直保持連接狀態。這會消耗浪費系統大量的資源。

發明內容

為了解決現有技術數據發布過程中的消耗時間長與浪費系統資源的問題，本發明主要力圖提出一種高效的數據發布方法、裝置、系統及計算機可讀存儲介質，能夠有效地發布數據；同時，與其它數據發布方法相比，減少消耗時間，減少資源浪費。

為了達到上述目的，本發明的第一方面提供了一種面向分布式系統的數據發布方法，包括如下步驟：

生產者生成并保存原始數據；

生產者根據中間人的反饋發送所述原始數據；

中間人接收生產者發送的所述原始數據；

消費者根據需要向所述中間人獲取所述原始數據。

在一些實施例中，所述原始數據為生產者的當前生產數據的最新版本的數據。

在一些實施例中，包括如下步驟：

生產者每隔一定時間T檢查中間人發送的回執；若回執中的版本號與當前數據版本的版本號不一致，則向中間人發送當前數據版本的數據，并保存該版本號為已發送數據的版本號；

中間人獲取數據完畢，更新數據版本，并向生產者發送回執；

消費者每隔一定時間T,向中間人查詢最新的數據版本；

若最新的數據版本與消費者當前的數據版本不一致，則消費者向中間人發送獲取數據請求，然后轉到下一步；否則，返回上一步；

中間人向消費者發送最新數據版本的數據；

消費者獲取數據完畢，更新數據版本，并向中間人發送回執。

在一些實施例中，所述中間人向生產者發送的回執包括：數據版本號、數據發送方名稱、數據接收方名稱和/或數據量大小。