[發明專利]數據處理方法及裝置、電子設備和存儲介質

有效

• 申請號: 202011562642.2
• 申請日: 2020-12-25
• 公開（公告）號: CN112597112B
• 公開（公告）日: 2023-06-27
• 發明（設計）人: 張敏
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06F16/16
• 分類號: G06F16/16;G06F16/172;G06F16/17
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 朱穎;黃健

本申請實施例提供一種數據處理方法及裝置、電子設備和存儲介質，該方法包括：在每個第一周期達到時，將每個第一周期內存入存儲設備中的至少一個數據，讀取至內存中；對讀取至內存中的至少一個數據進行處理，獲得待存儲的文件，并將待存儲的文件存入存儲設備中，該文件包括一個標識信息；根據存儲設備中所存儲的各文件的標識信息，刪除存儲設備中的至少一個文件。即本申請將第一周期內的數據合并為一個文件，并為該文件設置標識信息。這樣在后續的刪除過程中，直接根據文件的標識信息刪除文件，而無需多次讀寫操作，提高臟數據的刪除效率，提高存儲設備的使用壽命，不存在寫放大，避免浪費存儲空間。

技術領域

本申請實施例涉及計算機技術領域，尤其涉及一種數據處理方法及裝置、電子設備和存儲介質。

背景技術

隨著安全防范意識的增強，安防監控得到快速發展，在安防監控過程中會產生大量的視圖特征數據，大量的視圖特征數據的存儲一直是安防領域研究的主要問題之一。目前視圖特征數據采用輪轉的方式進行存儲，即存儲設備中只存儲最新一段時間內所產生的視圖特征數據，最新一段時間之前所產生的視圖特征數據為臟數據，需要從存儲設備中刪除，以釋放存儲空間。

目前安防領域通常采用基于日志結構合并樹(log-structured?merge?tree，LSM-Tree)的存儲系統來存儲大量的視圖特征數據。對于LSM-Tree而言，存儲引擎中的文件是分層存儲的，通過合并動作，從第i層和第i+1層選取若干文件，讀入內存，對這些文件中的數據進行排序，以去除臟數據，然后將去除臟數據后的數據寫入文件，放到第i+1層。

由此可知，LSM-Tree使用合并動作去除臟數據時，存在寫放大，例如臟數據位于第N層時，要消除該臟數據需要進行N-1次讀寫操作，其效率低，影響存儲設備的使用壽命，且存在寫放大，浪費存儲設備的存儲空間。

發明內容

本申請實施例提供一種數據處理方法及裝置、電子設備和存儲介質，以向用戶推送用戶需要的軟件信息。

第一方面，本申請實施例提供一種數據處理方法，包括：

在每個第一周期達到時，將每個第一周期內存入存儲設備中的至少一個數據，讀取至內存中；

對讀取至內存中的至少一個數據進行處理，獲得待存儲的文件，并將待存儲的文件存入存儲設備中，文件包括標識信息；

根據存儲設備中所存儲的各文件的標識信息，刪除存儲設備中的至少一個文件。

可選的，上述標識信息為時間標識信息。

在第一方面的一種可能的實現方式中，根據存儲設備中所存儲的各文件的標識信息，刪除存儲設備中的至少一個文件，包括：根據存儲設備中所存儲的各文件的標識信息和第二周期，刪除至少一個文件，其中第二周期大于第一周期。

在第一方面的一種可能的實現方式中，內存中存儲有文件對應的索引，此時該方法還包括：從內存中移除至少一個文件的索引。

在第一方面的一種可能的實現方式中，該方法還包括：根據第一周期內存入存儲設備中的數據量，以及存儲設備的剩余空間大小，調整第二周期；

此時，上述根據存儲設備中所存儲的各文件的標識信息和第二周期，刪除至少一個文件，包括：根據存儲設備中所存儲的各文件的標識信息和調整后的存儲時長，刪除至少一個文件。

在第一方面的一種可能的實現方式中，根據第一周期內存入存儲設備中的數據量，以及存儲設備的剩余空間大小，調整第二周期，包括：

在檢測到第一預設數量個第一周期中，每個第一周期內存入存儲設備中的數據量均小于第一預設值時，根據存儲設備的剩余空間大小，增大第二周期；和/或，在檢測到第二預設數量個第一周期中，每個第一周期內存入存儲設備中的數據量均大于第二預設值時，根據存儲設備的剩余空間大小，減小第二周期，其中第二預設值小于第一預設值。