[發明專利]數據處理方法、可讀介質和電子設備

在審

• 申請號: 202211044587.7
• 申請日: 2022-08-30
• 公開（公告）號: CN115408363A
• 公開（公告）日: 2022-11-29
• 發明（設計）人: 謝超;高雨辰;莫毅華
• 申請（專利權）人: 上海徐毓智能科技有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/2455;G06F16/2457
• 代理公司: 上海華誠知識產權代理有限公司 31300
• 代理人: 肖華

本申請涉及計算機技術領域，具體涉及一種數據處理方法、可讀介質和電子設備。其中的數據處理方法用于數據庫系統，數據庫系統包括作為代理節點、消息存儲節點、數據節點和第二存儲服務節點的電子設備，具體的方法包括：代理節點接收來自用戶的刪除數據請求，刪除數據請求中包括主鍵信息和刪除時間；代理節點將刪除數據請求包裝成刪除消息，并將刪除消息發送至消息存儲節點中的消息隊列；數據節點監聽消息隊列以獲得刪除消息，并將刪除消息包裝成刪除日志；數據節點根據主鍵信息將刪除日志保存進對應的歷史數據塊。本申請中的方法可以支持大批量的刪除數據請求，保證系統的性能，刪除操作后也可以立即驗證刪除效果。

技術領域

本申請涉及計算機技術領域，特別涉及一種數據處理方法、可讀介質和電子設備。

背景技術

現有的高維數據檢索系統通常采用日志的形式來記錄數據，“日志即數據”被作為搭建此類系統的核心理念。在高維數據檢索系統中，日志的定序通過全局唯一的時間戳來實現；流數據即實時數據，被打包成日志快照存儲在對象存儲中；如果日志快照的數量達到一定閾值，則將這些日志快照封印成批數據，即作為歷史數據存入持久化存儲中，這些批數據只能被讀取，而不能再寫入新數據。

針對高位數據檢索系統中的歷史數據進行刪除操作的方式通常可以采用過濾列表或者即時更新持久化存儲的方式來刪除數據。例如，如果采用過濾列表的方式來刪除數據，用戶需要手動配置過濾列表，那么系統在進行搜索任務時，如果搜索結果中包含有過濾列表中的數據，則這些數據將不會作為搜索結果返回給用戶。而如果采用即時更新持久化存儲的方式來刪除數據，需要根據刪除要求，即時從持久化存儲中刪除數據，持久化存儲即磁盤等永久存儲器。

無論采用上述哪種方式針對歷史數據進行刪除操作，都包括一系列的缺點。例如，如果采用過濾列表的刪除方式，將無法大批量地刪除數據，因為大批量的數據刪除意味著需要配置同樣大數據量的過濾列表，僅僅依靠用戶手動操作設置過濾列表，實現難度較大；同時由于采用過濾列表的方式實質上只是在后來的搜索操作中為用戶過濾搜索結果，而并沒有將數據從系統中刪除，因此也無法真正地刪除數據。如果采用即時更新持久化存儲的刪除方式，將需要根據刪除請求，即時刪除持久化存儲中與刪除請求對應的數據，刪除操作的次數太多將給系統帶來較大的寫壓力，從而降低系統的性能；而又由于持久化存儲本身的速度較慢，則相應的同步刪除操作的速度也會較慢，異步刪除操作又將影響數據的即時有效性。

發明內容

本申請實施例提供了一種數據處理方法、電子設備及可讀存儲介質，既可以支持大批量的數據刪除，保證系統的性能，也可以立即驗證刪除效果，不影響查詢的召回率和精度。

第一方面，本申請實施例提供了用于數據庫系統，上述數據庫系統包括作為代理節點、消息存儲節點、數據節點和第二存儲服務節點的電子設備，上述方法包括：

上述代理節點接收來自用戶的刪除數據請求，上述刪除數據請求中包括主鍵信息和刪除時間；

上述代理節點將上述刪除數據請求包裝成刪除消息，并將上述刪除消息發送至上述消息存儲節點中的消息隊列；

上述數據節點監聽上述消息隊列以獲得上述刪除消息，并將上述刪除消息包裝成刪除日志；

上述數據節點根據上述主鍵信息將上述刪除日志保存進對應的歷史數據塊。

本申請實施例提供的數據處理方法，采用軟刪除的操作，不需要在每次接收到刪除請求，便立即刪除數據，而是采用日志記錄的方式將刪除請求保存下來，上述數據處理方法可以支持大批量的數據刪除，同時可以保證系統的性能。

在上述第一方面的一種可能的實現方式中，上述數據節點根據上述主鍵信息將上述刪除日志保存進對應的歷史數據塊，包括：

上述數據節點根據上述主鍵信息，在持久化存儲中找到與上述主鍵信息對應的歷史數據塊；

上述數據節點將上述刪除日志保存進上述歷史數據塊。