[發明專利]一種消息去重方法及相關裝置

在審

• 申請號: 202110620329.8
• 申請日: 2021-06-03
• 公開（公告）號: CN113360487A
• 公開（公告）日: 2021-09-07
• 發明（設計）人: 李浩
• 申請（專利權）人: 上海微盟企業發展有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/27
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 丁曼曼

本申請公開了一種消息去重方法，包括：分布式系統的消息生產節點向第一集合寫消息；當所述分布式系統的消息消費節點讀取完第二集合的消息時，所述消息生產節點向所述第二集合寫消息，以便所述消息消費節點從所述第一集合讀消息；其中，所述第一集合與所述第二集合均為無重復值數據結構的集合。通過第一集合與第二集合之間的切換操作，與集合的數據結構特性對集合中的消息進行去重，提高消息去重的準確性。本申請還公開了一種消息去重裝置、服務器以及計算機可讀存儲介質，具有以上效果。

技術領域

本申請涉及計算機技術領域，特別涉及一種消息去重方法、消息去重裝置、服務器以及計算機可讀存儲介質。

背景技術

隨著信息技術的不斷發展，互聯網中生產的消息越來越多，進而消費消息的節點或設備也越來越多。需要對傳送的消息進行有效的管理。進一步的，面對大量的消息，容易出現重復的消息，不僅增加了硬件的負擔，還會導致消息的冗余發送。因此，需要對消息進行去重處理。

相關技術中，一般采用布隆過濾器進行去重處理，或者引入外部的key-value(關鍵字-值)存儲進行去重處理。但是，由于數據量不斷變大存在一些高并發場景，這些去重操作在高并發情況下無法嚴格去重，降低了去重的準確性。

因此，如何提高消息去重的準確性是本領域技術人員關注的重點問題。

發明內容

本申請的目的是提供一種消息去重方法、消息去重裝置、服務器以及計算機可讀存儲介質，以解決消息去重準確性較低的問題。

為解決上述技術問題，本申請提供一種消息去重方法，包括：

分布式系統的消息生產節點向第一集合寫消息；

當所述分布式系統的消息消費節點讀取完第二集合的消息時，所述消息生產節點向所述第二集合寫消息，以便所述消息消費節點從所述第一集合讀消息；

其中，所述第一集合與所述第二集合均為無重復值數據結構的集合。

可選的，分布式系統的消息生產節點向第一集合寫消息，包括：

所述分布式系統的消息生產節點根據獲取的集合控制標識確定當前寫入集合為所述第一集合；

向所述第一集合寫消息。

可選的，當所述分布式系統的消息消費節點讀取完第二集合的消息時，所述消息生產節點向所述第二集合寫消息，以便所述消息消費節點從所述第一集合讀消息，包括：

當所述分布式系統的消息消費節點讀取完第二集合的消息時，所述消息消費節點將集合控制標識進行切換，并從所述第一集合讀消息，以便所述消息生產節點向所述第二集合寫消息。

可選的，所述集合控制標識為自增數值；

相應的，所述分布式系統的消息生產節點根據獲取的集合控制標識確定當前寫入集合為所述第一集合，包括：

所述分布式系統的消息生產節點對所述自增數值用2求余，得到余數；

當所述余數為0時，所述當前寫入集合為所述第一集合。

可選的，當所述分布式系統的消息消費節點讀取完第二集合的消息時，所述消息生產節點向所述第二集合寫消息，以便所述消息消費節點從所述第一集合讀消息，包括：

當所述分布式系統的消息消費節點讀取完第二集合的消息時，所述消息消費節點將自增數值加一，得到新的自增數值；

所述消息消費節點根據所述新的自增數值加一的數值確定當前讀取集合為所述第一集合，并從所述第一集合讀消息；

所述消息生產節點根據所述新的自增數值確定所述當前寫入集合為所述第二集合，并向所述第二集合寫消息。

可選的，還包括：