[發明專利]將消息存儲至分布式文件系統的方法和裝置

在審

• 申請號: 201611249847.9
• 申請日: 2016-12-29
• 公開（公告）號: CN108255875A
• 公開（公告）日: 2018-07-06
• 發明（設計）人: 高志明
• 申請（專利權）人: 北京奇虎科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京市隆安律師事務所 11323
• 代理人: 權鮮枝;何立春

本發明公開了將消息存儲至分布式文件系統的方法和裝置，所述消息為分布式消息系統中的消息。其中方法包括：在所述分布式文件系統的集群中部署消息存儲長時服務；由所述消息存儲長時服務持續從所述分布式消息系統獲取待存儲的消息，以及根據所述待存儲消息的消息內容，確定所述待存儲消息對應的存儲文件，在滿足消息存儲條件時，將所述存儲文件存儲至所述分布式文件系統的集群中。該技術方案可以實現將分布式消息系統中的消息實時地保存至分布式文件系統，同時解決了在磁盤上處理消息的問題，消息傳輸可靠性和存儲效率都非常高。

技術領域

本發明涉及分布式計算領域，具體涉及將消息存儲至分布式文件系統的方法和裝置。

背景技術

分布式消息系統可以應用于網站的運營，例如將頁面的訪問量、用戶的訪問行為等作為消息進行收集，并存儲到分布式消息系統的磁盤中。但分布式消息系統存在如下缺點：不支持對存儲到分布式消息系統中的消息進行直接處理(即在磁盤上的直接處理已存儲的消息)。分布式文件系統支持在磁盤上進行的文件操作，但往往是與分布式消息系統相獨立的，因此如何將分布式消息系統中的消息存儲至分布式文件系統是一個難題。

發明內容

鑒于上述問題，提出了本發明以便提供一種克服上述問題或者至少部分地解決上述問題的將消息存儲至分布式文件系統的方法和裝置。

依據本發明的一個方面，提供了一種將消息存儲至分布式文件系統的方法，所述消息為分布式消息系統中的消息，該方法包括：

在所述分布式文件系統的集群中部署消息存儲長時服務；

由所述消息存儲長時服務持續從所述分布式消息系統獲取待存儲的消息，以及根據所述待存儲消息的消息內容，確定所述待存儲消息對應的存儲文件，在滿足消息存儲條件時，將所述存儲文件存儲至所述分布式文件系統的集群中。

可選地，所述在所述分布式文件系統的集群中部署消息存儲長時服務還包括：

為所述消息存儲長時服務申請所述分布式文件系統的集群中的資源；所述資源包括：存儲資源；

所述將所述存儲文件存儲至所述分布式文件系統的集群中包括：將所述存儲文件存儲至申請到的存儲資源中。

可選地，所述在所述分布式文件系統的集群中部署消息存儲長時服務包括：在所述分布式文件系統的資源調度器中部署消息存儲長時服務；

所述為所述消息存儲長時服務申請所述分布式文件系統的集群中的資源包括：為所述消息存儲長時服務向所述資源調度器申請所述分布式文件系統的集群中的資源。

可選地，申請到的資源為一個或多個container；

該方法還包括：當所述消息存儲長時服務對任一container的使用觸發資源更換條件時，關閉所述container，為所述消息存儲長時服務申請替代該container的其他container。

可選地，，所述資源更換條件為如下中的任一種：

對當前container的利用時間達到預設的周期時間點；

在當前container中已寫入的消息達到預設條數。

可選地，所述由所述消息存儲長時服務持續從所述分布式消息系統獲取待存儲的消息包括：

確定待存儲消息在所述分布式消息系統的消息隊列中的偏移量，根據所述偏移量獲取待存儲的消息。

可選地，該方法還包括：

在將所述存儲文件存儲至所述分布式文件系統的集群中后，記錄該存儲文件中已寫入的最后一條消息在所述分布式消息系統的消息隊列中的偏移量；