[發明專利]基于延遲時間的分布式消息處理方法、裝置和系統

在審

• 申請號: 202110244835.1
• 申請日: 2021-03-05
• 公開（公告）號: CN112905359A
• 公開（公告）日: 2021-06-04
• 發明（設計）人: 郝健
• 申請（專利權）人: 上海中通吉網絡技術有限公司
• 主分類號: G06F9/54
• 分類號: G06F9/54;G06F9/50;G06F16/22;G06F16/27
• 代理公司: 北京細軟智谷知識產權代理有限責任公司 11471
• 代理人: 劉明華

本發明涉及一種基于延遲時間的分布式消息處理方法、裝置和系統，方法包括：獲取待延遲消費數據和待延遲消費數據對應的延遲時長；待延遲消費數據和延遲時長均攜帶有待延遲消費數據被發送的初始時間片；將延遲時長存儲到配置中心，將待延遲消費數據存儲到分布式存儲集群；根據當前時間和配置中心存儲的所有延遲時長，確定每個初始時間片對應的索引時間片；按照預設檢測周期檢測分布式存儲集群，將得到的每個與索引時間片匹配的待延遲消費數據均作為待消費數據；將所有待消費數據進行消費。采用本方案，用戶預先設置待延遲消費數據對應的延遲時長，再將延遲時長存儲到配置中心，能夠動態設置延遲時長，提高消息延時消費的靈活度和實用性。

技術領域

本發明涉及消息處理技術領域，具體涉及一種基于延遲時間的分布式消息處理方法、裝置和系統。

背景技術

互聯網公司都會有這樣一些需求場景，某條數據需要在一個特定的延遲時間后處理，延時處理該數據的消息即為延遲消息，延遲消息也叫定時消息，是指需要在一段時間后被消費的消息。

現有技術中，對于延時消息的利用，僅僅是延時消息發出后，選擇固定的時間點進行消息消費，導致消息延時消費的靈活度較低，延時消息消費的實用性較低。

發明內容

有鑒于此，本發明的目的在于提供一種基于延遲時間的分布式消息處理方法、裝置和系統，以解決現有技術中的對于延時消息的利用，僅僅是延時消息發出后，選擇固定的時間點進行消息消費，導致消息延時消費的靈活度較低，延時消息消費的實用性較低問題。

為實現以上目的，本發明采用如下技術方案：

一種基于延遲時間的分布式消息處理方法，包括：

獲取待延遲消費數據和所述待延遲消費數據對應的延遲時長；所述待延遲消費數據和所述延遲時長均攜帶有所述待延遲消費數據被發送的初始時間片；

將所述延遲時長存儲到配置中心，將所述待延遲消費數據存儲到分布式存儲集群；

根據當前時間和所述配置中心存儲的所有延遲時長，確定每個所述初始時間片對應的索引時間片；

按照預設檢測周期，對所述分布式存儲集群進行檢測，將得到的每個與所述索引時間片相匹配的所述待延遲消費數據均作為待消費數據；

將所有所述待消費數據進行立即消費。

進一步地，上述基于延遲時間的分布式消息處理方法中，所述將所述待消費數據進行立即消費，包括：

獲取預先存儲到所述配置中心的執行線程數；

利用根據所述執行線程數設置的執行線程，對所述待消費數據進行消費。

進一步地，上述基于延遲時間的分布式消息處理方法，還包括：

接收所述待消費數據的消費反饋；

若所述待消費數據的消費反饋表示消費未成功，將所述待消費數據的消費次數加一，并判斷所述消費次數是否超出預先存儲到所述配置中心的預設重試次數；

若所述消費次數超出所述預設重試次數，則將所述待消費數據從所述分布式存儲集群轉移到預先設置的死信隊列中，以便對所述待消費數據進行人工干預處理；

若所述消費次數未超出所述預設重試次數，則重新將所述待消費數據存儲到所述分布式存儲集群中，以便對所述待消費數據進行重新消費。

進一步地，上述基于延遲時間的分布式消息處理方法中，所述接收所述待消費數據的消費反饋之后，還包括：

若所述待消費數據的消息反饋表示消費成功，則將所述待消費數據從所述分布式存儲集群移除。

進一步地，上述基于延遲時間的分布式消息處理方法，還包括：