[發明專利]一種基于流存儲的數據寫入方法

有效

• 申請號: 202210129817.3
• 申請日: 2022-02-11
• 公開（公告）號: CN114489515B
• 公開（公告）日: 2022-08-16
• 發明（設計）人: 許文華;瞿洪桂;王思瑤;王興
• 申請（專利權）人: 北京中電興發科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京市盛峰律師事務所 11337
• 代理人: 席小東

本發明提供一種基于流存儲的數據寫入方法，包括以下步驟：磁盤組的劃分；確定本次數據寫入的磁盤組標識DGID；確定磁盤組Group_DGID中選擇的磁盤標識DID；確定數據存儲目錄DDIR；確定子目錄；確定磁盤文件DFILE。具有以下優點：(1)提出磁盤組策略，保證低功耗模式的正常工作，同時可以并發提高系統的讀寫性能。(2)在磁盤組內對不同的設備數據進行離散分布，保證磁盤組之間的容量均衡；(3)根據設備及數據信息，通過運算快速定位磁盤及存儲路徑，提升系統的檢索效率，降低存儲元數據帶來的業務復雜性。

技術領域

本發明屬于視頻云存儲技術領域，具體涉及一種基于流存儲的數據寫入方法。

背景技術

近年來，隨著智慧城市的不斷發展，國家數字化轉型的不斷推進，各種數據呈爆發式增長，數據存儲的需求日益劇增。其中視頻云存儲的需求也越來越多。目前在視頻云存儲領域使用的服務器可分為兩類：X86架構的通用存儲服務器和基于ARM的嵌入式系統服務器。不同架構種類的服務器整機的硬件規格，尤其是磁盤數量往往不盡相同。此外，一個視頻監控系統通常會產生成百上千路的視頻流數據需要存儲。如何保證在低功耗模式運行時，既能滿足大量數據并發讀寫的性能需求，又能保證數據分布的均勻性，是數據存儲需要考慮的一個重要問題。

目前，常用的方法是在數據寫入時，以輪詢的方式寫入預分配的目錄中。這樣設計的優點是寫入數據時設計簡單，實現容易，但是需要記錄數據存儲的路徑信息，導致額外產生大量元數據文件，元數據文件的維護在數據檢索和定位時性能較差，在數據并發量較大時嚴重影響系統性能。

如何有效解決以上問題，既保證數據存儲分布的均勻性，又滿足大量數據并發讀寫的性能需求，同時降低維護成本，是目前需要解決的問題。

發明內容

針對現有技術存在的缺陷，本發明提供一種基于流存儲的數據寫入方法，可有效解決上述問題。

本發明采用的技術方案如下：

本發明提供一種基于流存儲的數據寫入方法，包括以下步驟：

步驟1，磁盤組的劃分：

設共有n個磁盤，每個磁盤具有唯一的磁盤ID；將n個磁盤劃分為N個磁盤組，依次表示為：磁盤組Group₀,磁盤組Group₁,…,磁盤組Group_N-1；其中，每個磁盤組包括至少一個磁盤；

設磁盤組Group₀包括C(0)個磁盤，表示為：磁盤disk₀^[0],磁盤disk₁^[0],…,磁盤disk_C(0)-1^[0]；

磁盤組Group₁包括C(1)個磁盤，表示為：磁盤disk₀^[1],磁盤disk₁^[1],…,磁盤disk_C(1)-1^[1]；

依此類推

磁盤組Group_N-1包括C(N-1)個磁盤，表示為：磁盤disk₀^[N-1],磁盤disk₁^[N-1],…,磁盤disk_C(N-1)-1^[N-1]；

步驟2，預設置輪詢時長SLT；

步驟3，接收接入設備的寫入數據請求；其中，所述寫入數據請求中攜帶有接入設備標識CID、時間戳T以及需寫入的數據內容；

其中，所述接入設備CID的生成方式為：隨機產生隨機數，并作為接入設備的接入設備標識CID；