[發(fā)明專利]磁盤存儲方法和裝置、消息推送方法和裝置及電子設備

有效

• 申請?zhí)枺?/td>: 201710146577.7
• 申請日: 2017-03-13
• 公開（公告）號: CN108572789B
• 公開（公告）日: 2022-01-28
• 發(fā)明（設計）人: 劉振東;王小瑞;馮嘉
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F16/215
• 代理公司: 北京市惠誠律師事務所 11353
• 代理人: 逯博

本發(fā)明實施例提供了一種磁盤存儲方法和裝置、消息推送方法和裝置及電子設備。該磁盤存儲方法包括：獲取待存儲消息的關鍵字；根據已存儲消息的位圖索引，采用布隆濾波器，對所述待存儲消息和所述已存儲消息進行基于所述關鍵字的判重操作，其中，所述已存儲消息存儲于磁盤中，所述已存儲消息的位圖索引存儲于內存中；根據判重結果，對所述待存儲消息進行處理。本發(fā)明實施例通過布隆濾波器根據位圖索引對消息進行判重，并根據判重結果進行去重或存儲處理，在占用少量內存的情況下，即可完成對大量消息的檢索，實現(xiàn)了高效的海量消息去重存儲。

技術領域

本發(fā)明涉及數(shù)據存儲技術領域，尤其涉及一種磁盤存儲方法和裝置、消息推送方法和裝置及電子設備。

背景技術

在數(shù)據存儲技術領域，大多數(shù)存儲引擎存儲在文件中的內容都分為兩部分：日志(Log)和索引(LogIndex)。其中，Log用于存儲每條消息(Record)的詳細內容；LogIndex用于存儲Record的關鍵字(key)以及該Record在Log文件中的偏移量，有些還會存儲Record的其它相關內容。

如果存儲引擎需要去重(在存儲Record時，去除重復的Record)，通常的方案是，直接通過LogIndex進行檢索，其優(yōu)勢是可以做到針對整個Log全局去重。

發(fā)明人在實現(xiàn)本發(fā)明的過程中，發(fā)現(xiàn)現(xiàn)有技術至少存在如下問題：在每次檢索時，都需要讀磁盤，運行速度很慢，性能差，不能適用于高并發(fā)場景

發(fā)明內容

本發(fā)明實施例提供一種磁盤存儲方法和裝置、消息推送方法和裝置及電子設備，以解決現(xiàn)有技術在高并發(fā)場景無法去重的缺陷，實現(xiàn)高效的海量消息去重存儲。

為達到上述目的，本發(fā)明實施例提供了一種磁盤存儲方法，包括：獲取待存儲消息的關鍵字；根據已存儲消息的位圖索引，采用布隆濾波器，對所述待存儲消息和所述已存儲消息進行基于所述關鍵字的判重操作，其中，所述已存儲消息存儲于磁盤中，所述已存儲消息的位圖索引存儲于內存中；根據判重結果，對所述待存儲消息進行處理。

本發(fā)明實施例還提供了一種磁盤存儲方法，包括：獲取待存儲消息的關鍵字；在內存中，對所述待存儲消息和已存儲消息進行基于所述關鍵字的判重操作；根據判重結果，對所述待存儲消息進行存儲或丟棄處理。

本發(fā)明實施例還提供了一種消息推送方法，包括：獲取待推送消息的關鍵字，所述關鍵字為所述待推送消息的目標用戶ID；根據已推送消息的位圖索引，采用布隆過濾器，對所述待推送消息和所述已推送消息進行基于所述關鍵字的判重操作，其中，所述已推送消息存儲于磁盤中，所述已推送消息的位圖索引存儲于內存中；根據判重結果，對所述待推送消息進行推送處理。

本發(fā)明實施例還提供了一種消息推送方法，包括：獲取待推送消息的關鍵字，所述關鍵字為所述待推送消息的目標用戶ID；在內存中，對所述待推送消息和已推送消息進行基于所述關鍵字的判重操作；根據判重結果，對所述待推送消息進行推送處理。

本發(fā)明實施例還提供了一種磁盤存儲裝置，包括：第一獲取模塊，用于獲取待存儲消息的關鍵字；第一判重模塊，用于根據已存儲消息的位圖索引，采用布隆濾波器，對所述待存儲消息和所述已存儲消息進行基于所述關鍵字的判重操作，其中，所述已存儲消息存儲于磁盤中，所述已存儲消息的位圖索引存儲于內存中；第一處理模塊，用于根據所述第一判重模塊的判重結果，對所述待存儲消息進行處理。

本發(fā)明實施例還提供了一種消息推送裝置，包括：第二獲取模塊，用于獲取待推送消息的關鍵字，所述關鍵字為所述待推送消息的目標用戶ID；第二判重模塊，用于根據已推送消息的位圖索引，采用布隆濾波器，對所述待推送消息和所述已推送消息進行基于所述關鍵字的判重操作，其中，所述已推送消息存儲于磁盤中，所述已推送消息的位圖索引存儲于內存中；第二處理模塊，用于根據所述第二判重模塊的判重結果，對所述待推送消息進行推送處理。