[發明專利]基于分布式架構的數據處理方法及裝置

在審

• 申請號: 202010525038.6
• 申請日: 2020-06-10
• 公開（公告）號: CN111786875A
• 公開（公告）日: 2020-10-16
• 發明（設計）人: 蔣漢華
• 申請（專利權）人: 武漢遂意語聯網絡科技有限公司
• 主分類號: H04L12/58
• 分類號: H04L12/58;H04L12/863
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 楊云云

本發明實施例提供一種基于分布式架構的數據處理方法及裝置，所述方法包括：通過消息服務端接收消息生產端發送的第一消息并獲取第一消息的類型，若第一消息為事件類，消息服務端在消息生產端成功完成第一消息的業務處理后，將第一消息發送至消息消費端，并在消息消費端完成第一消息的業務處理后，將第一消息遷移至歷史日志庫，以及刪除消息任務池中的第一消息。本發明實施例通過建立獨立的消息服務端來完成消息的數據處理服務，而不需要依賴每個業務服務系統分別構建自身的消息系統，從而降低了分布式架構中業務系統和消息系統之間的耦合性，同時根據消息的類型進行數據處理，保證了分布式架構中消息生產端和消息消費端數據的一致性。

技術領域

本發明涉及互聯網技術領域，尤其涉及一種基于分布式架構的數據處理方法及裝置。

背景技術

在互聯網環境下，應用系統總會面對數據量的增長而帶來的系統壓力，為了緩解系統的壓力目前大多互聯網企業普遍采用分布式系統架構。然而，分布式系統架構中每個服務之間都是獨立的體系，他們彼此之間不在同一個數據庫環境中，假如消息生產端服務執行成功了，消息消費端服務執行卻失敗了，而消息生產端的數據此時已經提交，導致消息生產端和消息消費端數據不同步的問題。

為解決分布式場景中業務服務之間的數據同步，現有技術中采用基于XA協議的全局事務或通過一致性消息的方式來達到服務之間的數據同步，但是基于XA協議的全局事務需要資源的全局鎖定，在互聯網應用中數據量并發量大的場景下會導致性能較差，并且各個業務服務都需要支持XA協議資源，代碼耦合性高；而通過一致性消息的方式來達到服務之間的數據同步都是基于MQ中間件產品ActiveMQ、RabbitMQ、RocketMQ等相應的中間件產品來實現，需要通過網絡進行通訊，這樣就會引入了數據傳輸的不確定性，導致消息的發送和投遞不可靠，從而無法實現消息發送的一致性。

因此，如何提出一種方法，能夠保證分布式架構中消息生產端和消息消費端數據的一致性，同時降低分布式架構中業務系統和消息系統之間的耦合性，成為亟待解決的問題。

發明內容

針對現有技術中的缺陷，本發明實施例提供一種基于分布式架構的數據處理方法及裝置。

第一方面，本發明實施例提供一種基于分布式架構的數據處理方法，用于各業務系統的消息服務，包括：

消息服務端接收分布式架構消息生產端發送的第一消息，并將所述第一消息存儲至消息任務池；其中，所述第一消息中包含有第一消息的類型；

若所述第一消息的類型為事件類，消息服務端接收消息生產端發送的第一處理結果，并根據第一處理結果對第一消息進行數據處理，具體包括：

若所述第一處理結果為消息生產端成功完成第一消息的業務處理，則消息服務端將第一消息發送至消息消費端；消息消費端接收第一消息后，若成功完成第一消息的業務處理，則向消息服務端發送第二處理結果；消息服務端接收到第二處理結果后，將第一消息遷移至歷史日志庫，以及刪除消息任務池中的第一消息。

優選地，還包括：若所述第一消息的類型為通知類，消息服務端將第一消息發送給消息消費端，并將第一消息遷移至歷史日志庫，以及刪除消息任務池中的第一消息。

優選地，還包括：若所述第一處理結果為消息生產端放棄完成第一消息的業務處理，則消息服務端刪除消息任務池中的第一消息。

優選地，所述消息服務端接收分布式架構消息生產端發送的第一消息，并將所述第一消息存儲至消息任務池，具體包括：

消息服務端接收分布式架構消息生產端發送的第一消息，將第一消息狀態設置為預發送，然后將第一消息存儲至消息任務池。

優選地，所述若所述第一消息的類型為通知類，消息服務端將第一消息發送給消息消費端，并將第一消息遷移至歷史日志庫，以及刪除消息任務池中的第一消息，具體包括：