[發明專利]文件存儲方法和裝置、電子設備、程序和介質

在審

• 申請號: 201711217713.3
• 申請日: 2017-11-28
• 公開（公告）號: CN108234594A
• 公開（公告）日: 2018-06-29
• 發明（設計）人: 莫濤;陳宇恒
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F17/30
• 代理公司: 北京思源智匯知識產權代理有限公司 11657
• 代理人: 毛麗琴

本發明實施例公開了一種文件存儲方法和裝置、電子設備、程序和介質，其中，方法包括：響應于接收到寫請求，服務器上的至少一個第一進程將所述寫請求中的小文件存儲在所述進程的緩沖區內，確定所述小文件的索引；其中，所述小文件的索引包括：所述小文件所在分塊文件的分塊文件標識、以及所在節的節標識和節內偏移量；響應于滿足所述緩沖區中數據的寫入條件，所述第一進程將所述緩沖區中的數據追加寫入到網絡附屬存儲器中的一個分塊文件中。本發明實施例實現了小文件的合并存儲，可以優化存儲性能、進行分布式擴展。

技術領域

本發明涉及數據處理技術，尤其是一種文件存儲方法和裝置、電子設備、程序和介質。

背景技術

存儲模塊是一個應用系統中負責數據保存與訪問的模塊。在智能監控領域，高效且安全地存儲歷史數據是整個應用系統正常運行的必要前提。

存儲模塊通常由硬件與軟件兩部分組成。其中，硬件部分即實際存儲數據的物理設備，例如機械硬盤、固態硬盤等；軟件部分則是給應用系統提供數據存儲接口的系統，例如文件系統、數據庫等。根據實際應用需求進行軟件與硬件選型是設計存儲模塊的關鍵。

發明內容

本發明實施例提供一種文件存儲技術方案。

根據本發明實施例的一個方面，提供的一種文件存儲方法，包括：

響應于接收到寫請求，服務器上的至少一個第一進程將所述寫請求中的小文件存儲在所述第一進程的緩沖區內，確定所述小文件的索引；其中，所述小文件的索引包括：所述小文件所在分塊文件的分塊文件標識、以及所在節的節標識和節內偏移量；

響應于滿足所述緩沖區中數據的寫入條件，所述第一進程將所述緩沖區中的數據寫入到網絡附屬存儲器中的一個分塊文件中。

可選地，在本發明上述各方法實施例中，所述滿足所述緩沖區中數據的寫入條件，所述第一進程將所述緩沖區中的數據寫入到網絡附屬存儲器中的一個分塊文件中，包括：

響應于所述緩沖區中的數據量達到一個節的大小，所述第一進程將所述緩沖區中的數據作為一個節，追加寫入到網絡附屬存儲器中的一個分塊文件中；和/或

響應于所述緩沖區中的數據在所述緩沖區中的最長保存時間達到預設時長閾值，所述第一進程將所述緩沖區中的數據追加寫入到網絡附屬存儲器中的一個分塊文件中。

可選地，在本發明上述各方法實施例中，所述服務器包括至少一個，每個服務器上運行有至少一個進程；所述網絡附屬存儲器掛載到所述至少一個服務器上；

所述方法還包括：

響應于接收到第一應用發送的寫請求，負載均衡器將所述寫請求分發給至少一個服務器上的至少一個所述第一進程。

可選地，在本發明上述各方法實施例中，所述緩沖區的大小為一個節的大小，或者所述緩沖區的大小大于一個節的大小。

可選地，在本發明上述各方法實施例中，將所述寫請求中的小文件存儲在所述第一進程的緩沖區內，包括：

將所述小文件的二進制內容、元信息和校驗碼組合成一個數據包，存儲在所述第一進程的緩沖區內。

可選地，在本發明上述各方法實施例中，將所述緩沖區中的數據寫入到網絡附屬存儲器中的一個分塊文件中，包括：

將所述緩沖區內的所有數據包、統計信息和校驗碼追加寫入到網絡附屬存儲器中的一個分塊文件中；所述統計信息包括：所述緩沖區內小文件的個數、所有二進制內容的大小。

可選地，在本發明上述各方法實施例中，所述小文件的索引還包括：所述小文件所在分塊文件的日期。

可選地，在本發明上述各方法實施例中，將所述緩沖區中的數據寫入到網絡附屬存儲器中的一個分塊文件中之前，還包括：