[發(fā)明專利]一種適應于多路并發(fā)寫入流媒體數(shù)據(jù)的分塊式存儲算法

有效

• 申請?zhí)枺?/td>: 201310394300.8
• 申請日: 2013-09-03
• 公開（公告）號: CN103702057B
• 公開（公告）日: 2017-04-12
• 發(fā)明（設計）人: 張帆;王鑫;周偉
• 申請（專利權(quán)）人: 成都竣泰科技有限公司
• 主分類號: H04N5/781
• 分類號: H04N5/781;H04N7/18;G06F3/06
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術(shù)領域

本發(fā)明主要應用于安防網(wǎng)絡視頻監(jiān)控領域，專門針對網(wǎng)絡視頻監(jiān)控中產(chǎn)生的流媒體數(shù)據(jù)，提供了一種優(yōu)化的存儲算法，該算法可應用在網(wǎng)絡視頻監(jiān)控中所有的存儲設備上，以保證數(shù)據(jù)的高效、優(yōu)化存儲。?

背景技術(shù)

近幾年來，隨著樓宇安防、園區(qū)安防以及平安城市的建設，網(wǎng)絡化的視頻監(jiān)控呈現(xiàn)除了迅速的增長趨勢，視頻數(shù)據(jù)從標清到高清，網(wǎng)絡攝像機產(chǎn)生的流媒體數(shù)據(jù)通過網(wǎng)絡傳輸?shù)揭曨l服務器時候，需要存儲起來并且保存一定的天數(shù)，以便當某些事件發(fā)生的時候用戶回放錄像。因而，存儲在網(wǎng)絡監(jiān)控中所占的比重也越來越大，其數(shù)據(jù)的安全性和穩(wěn)定性尤為重要，從而，對網(wǎng)絡化視頻的存儲要求也就越來越高。?

現(xiàn)有的存儲技術(shù)都是基于系統(tǒng)默認的存儲方式之上的，其基本的存儲思路是：所有的文件都構(gòu)建在操作系統(tǒng)的虛擬文件系統(tǒng)層VFS之上，當系統(tǒng)有視頻數(shù)據(jù)寫入時，首先，系統(tǒng)將把傳輸過來的視頻數(shù)據(jù)存儲成一個個小的文件，新的文件的產(chǎn)生條件可以進行定義（如每隔一個小時、或文件大小超過200MB時），這樣，當條件滿足時，?虛擬文件系統(tǒng)VFS就會產(chǎn)生一個新的文件，來進行視頻數(shù)據(jù)的存儲；然后，通過文件的方式將視頻數(shù)據(jù)寫進磁盤高速緩存（Disk?Caches），從而將磁盤上的數(shù)據(jù)緩存在內(nèi)存中；最后，系統(tǒng)不定期的通過磁盤緩存向硬盤寫入數(shù)據(jù)，進行存儲。?

針對網(wǎng)絡視頻監(jiān)控中大量流媒體數(shù)據(jù)需要不間斷的進行存儲來說，此種存儲方案存在以下弊端。?

首先，由于網(wǎng)絡視頻數(shù)據(jù)存儲之前，需要先經(jīng)過磁盤高速緩存進行存儲，當前端存在大量網(wǎng)絡攝像機進行數(shù)據(jù)采集并需要存儲時，某視頻數(shù)據(jù)在寫入硬盤之前，需要先將其對應的緩存進行填充，當該緩存區(qū)域存儲的空間用完時，然后才能寫入硬盤，清空緩存。由于為各個網(wǎng)絡視頻流所分配的緩存由系統(tǒng)默認決定，因而緩存的硬盤寫入時間也不能夠確定，這樣，一旦當服務器出現(xiàn)宕機、掉電等現(xiàn)象，磁盤高速緩存中的數(shù)據(jù)將無法寫入硬盤，緩存數(shù)據(jù)全部丟失，極有可能會造成某段數(shù)據(jù)的大量缺失，從而帶來嚴重的損失。?

其次，在系統(tǒng)緩存將視頻數(shù)據(jù)寫入硬盤時，由于系統(tǒng)采用默認的分塊存儲方式，由于每個文件的大小不受控制，當規(guī)定文件容量太小時候，由于高清攝像機的產(chǎn)生的數(shù)據(jù)量較大，如4Mbps，這樣，視頻數(shù)據(jù)在硬盤系統(tǒng)中將被分散成許多小文件進行分布存儲，這樣，由于頻繁的打開和關(guān)閉文件，從而造成額外的系統(tǒng)開銷，導致檢索的效率降低，影響系統(tǒng)的操作體驗；反之，若規(guī)定文件容量太大，由于系統(tǒng)是通過操作系統(tǒng)負責尋找可用的磁盤空間，這樣將會造成文件分布在磁盤上多個不同的位置，以至于磁盤尋道時間增加，磁盤讀寫速度降低，影響系統(tǒng)性能。?

第三，由于磁盤高速緩存在向硬盤寫入數(shù)據(jù)時，其寫入周期根據(jù)各個緩存空間的不同而不同，而且各個緩存空間是動態(tài)變化的，從而，整個硬盤組幾乎一直處于驅(qū)動狀態(tài)，導致功耗增加，硬盤壽命降低。?

第四，在安防監(jiān)控行業(yè)中，項目規(guī)模的不斷擴大、高清前端攝像機的使用，前端視頻碼流不斷增加，系統(tǒng)默認存儲方式會出現(xiàn)瓶頸，導致其最多能夠處理的視頻碼流不會超過150Mbps，這樣對于單臺存儲設備，外部有幾百路甚至上千路攝像機視頻數(shù)據(jù)需要并發(fā)寫入服務器時，則需要增加服務器的數(shù)量完成存儲需求。?

最后，由于安防行業(yè)的特殊性，需要監(jiān)控設備長期有效運行，因而，設備的穩(wěn)定性顯得尤為重要，而視頻監(jiān)控數(shù)據(jù)的特殊性，在于它將不斷的進行大量的存儲和刪除過期數(shù)據(jù)，因而，在傳統(tǒng)的存儲方式中，系統(tǒng)緩存將視頻數(shù)據(jù)寫入硬盤時，由于系統(tǒng)采用默認的分塊存儲方式，這樣，被刪除了數(shù)據(jù)的硬盤空間，在以后的使用過程中將不能夠重新被利用，導致大量的磁盤碎片產(chǎn)生，嚴重影響系統(tǒng)性能，一方面，會造成數(shù)據(jù)的寫入出現(xiàn)障礙，導致數(shù)據(jù)丟失；另一方面，碎片過多會影響整個文件系統(tǒng)，導致整個系統(tǒng)的性能下降，必須關(guān)閉系統(tǒng)，進行磁盤清理，不僅如此，大量的碎片會導致硬盤利用率降低（經(jīng)統(tǒng)計，硬盤利用率最多不會超過80%）和硬盤壽命減少，這將導致存儲的成本升高。?

發(fā)明內(nèi)容

本發(fā)明的目的就在于解決整個安防行業(yè)中的網(wǎng)絡視頻數(shù)據(jù)存儲的問題，本發(fā)明將克服上述存儲技術(shù)中的缺點，從而能夠提供一種適合于安防行業(yè)中網(wǎng)絡視頻數(shù)據(jù)存儲的方法，以達到高效、穩(wěn)定、節(jié)能、無碎片的智慧存儲。?