[發(fā)明專利]非文件系統(tǒng)的可靠存儲(chǔ)方法

無(wú)效

• 申請(qǐng)?zhí)枺?/td>: 201110202704.3
• 申請(qǐng)日: 2011-07-20
• 公開(kāi)（公告）號(hào): CN102890677A
• 公開(kāi)（公告）日: 2013-01-23
• 發(fā)明（設(shè)計(jì)）人: 賈小波;李偉;高磊;王鵬麗;陳啟航;于文華
• 申請(qǐng)（專利權(quán)）人: 鄭州威科姆科技股份有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 鄭州中原專利事務(wù)所有限公司 41109
• 代理人: 霍彥偉;李想

技術(shù)領(lǐng)域

本發(fā)明涉及一種數(shù)據(jù)高效、可靠存儲(chǔ)技術(shù)，應(yīng)用于視頻監(jiān)控行業(yè)、IPTV等需要大量數(shù)據(jù)存儲(chǔ)的行業(yè)。

背景技術(shù)

目前，基于硬盤(pán)的數(shù)據(jù)存儲(chǔ)大多都基于文件系統(tǒng)。從windows的FAT文件系統(tǒng)到NTFS，都是基于操作系統(tǒng)提供的硬盤(pán)管理功能進(jìn)行的數(shù)據(jù)非易失存儲(chǔ)，包括Linux的ext2/3等也是如此。基于文件系統(tǒng)的數(shù)據(jù)存儲(chǔ)給我們的開(kāi)發(fā)帶來(lái)了極大的簡(jiǎn)便，但是其效率和可靠性一直稱為人們爭(zhēng)執(zhí)的焦點(diǎn)。這個(gè)焦點(diǎn)也催生了更多、更好的文件系統(tǒng)。然而文件系統(tǒng)再怎么升級(jí)，也只是一個(gè)通用的基于人們一般應(yīng)用習(xí)慣的產(chǎn)物。對(duì)于一些特殊行業(yè)，如：視頻監(jiān)控、IPTV。這些行業(yè)的數(shù)據(jù)的第一個(gè)特點(diǎn)就是龐大，一個(gè)監(jiān)控?cái)z像頭、一個(gè)電影影片其大小動(dòng)輒幾百兆。第二個(gè)特點(diǎn)就是文件大小基本固定，也就是說(shuō)：這些行業(yè)中不會(huì)在存儲(chǔ)數(shù)據(jù)的時(shí)候摻雜著存儲(chǔ)一些較小的文件，比如不會(huì)摻雜臨時(shí)保存的一個(gè)網(wǎng)頁(yè)等。第三個(gè)特點(diǎn)就是希望文件有序排列，也就是文件存儲(chǔ)能夠按照日期或者某種固定的排列方式在硬盤(pán)中進(jìn)行記錄。第四個(gè)特點(diǎn)就是文件的讀取和寫(xiě)入非常頻繁，這樣對(duì)通用文件寫(xiě)碎片管理就帶來(lái)的極大的挑戰(zhàn)。

發(fā)明內(nèi)容

本發(fā)明的目的在于：A：實(shí)現(xiàn)基于非文件系統(tǒng)的數(shù)據(jù)存儲(chǔ)方法；B：實(shí)現(xiàn)文件存儲(chǔ)和文件信息索引的獨(dú)立存儲(chǔ)；C：實(shí)現(xiàn)文件和文件索引信息的基本同步。

為實(shí)現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案：

本發(fā)明包括數(shù)據(jù)的寫(xiě)入過(guò)程、數(shù)據(jù)的讀取過(guò)程、數(shù)據(jù)的刪除過(guò)程，

在所述數(shù)據(jù)的寫(xiě)入過(guò)程中，操作者打開(kāi)本地?cái)?shù)據(jù)庫(kù)，獲取當(dāng)前寫(xiě)入磁盤(pán)的偏移地址；然后打開(kāi)硬盤(pán)設(shè)備，將文件指針偏移到寫(xiě)入位置；當(dāng)有數(shù)據(jù)寫(xiě)入時(shí)，在本地?cái)?shù)據(jù)庫(kù)建立寫(xiě)入標(biāo)志并開(kāi)始寫(xiě)入數(shù)據(jù)；

在所述數(shù)據(jù)的讀取過(guò)程中，根據(jù)應(yīng)用層傳入的檢索條件，檢索出文件的本地?cái)?shù)據(jù)庫(kù)記錄，從記錄中獲取文件在硬盤(pán)記錄中的偏移地址，從該偏移地址中將數(shù)據(jù)讀出，以回調(diào)形式返回給應(yīng)用層；

在所述數(shù)據(jù)的刪除過(guò)程中，操作者在本地?cái)?shù)據(jù)庫(kù)中對(duì)該文件標(biāo)識(shí)為刪除。

所述的本地?cái)?shù)據(jù)庫(kù)采用Berkeley?DB作為原型數(shù)據(jù)庫(kù)。

在數(shù)據(jù)的讀取過(guò)程中，本地?cái)?shù)據(jù)庫(kù)記錄該數(shù)據(jù)的讀取次數(shù)。

采用上述技術(shù)方案的本發(fā)明，很好地將文件存儲(chǔ)和文件信息索引獨(dú)立開(kāi)來(lái)，提高了存儲(chǔ)的效率。另外，有信息需要?jiǎng)h除時(shí)只是在本地?cái)?shù)據(jù)庫(kù)中對(duì)相應(yīng)的記錄進(jìn)行標(biāo)記，而不是物理的文件刪除。這個(gè)保證了過(guò)程中最小的對(duì)磁盤(pán)進(jìn)行操作，延長(zhǎng)了磁盤(pán)的工作壽命。方法中將數(shù)據(jù)進(jìn)行獨(dú)立存儲(chǔ)，對(duì)應(yīng)的數(shù)據(jù)信息則進(jìn)入數(shù)據(jù)庫(kù)進(jìn)行記錄。當(dāng)需要讀數(shù)據(jù)進(jìn)行訪問(wèn)時(shí)，首先對(duì)數(shù)據(jù)庫(kù)進(jìn)行查詢獲取數(shù)據(jù)的磁盤(pán)地址直接進(jìn)行讀取。最大限度的減少對(duì)目錄的遍歷與搜索，提供了數(shù)據(jù)讀取的效率減少對(duì)硬盤(pán)不必要的操作。數(shù)據(jù)寫(xiě)入時(shí)，直接從磁頭當(dāng)前位置寫(xiě)入。數(shù)據(jù)寫(xiě)入完成后將信息寫(xiě)入數(shù)據(jù)庫(kù)。完成數(shù)據(jù)的同步寫(xiě)入，即數(shù)據(jù)存儲(chǔ)完成后同步寫(xiě)入記錄來(lái)對(duì)數(shù)據(jù)進(jìn)行描述。

附圖說(shuō)明

圖1為本發(fā)明中硬盤(pán)獲取的流程圖。

圖2為本發(fā)明中視頻數(shù)據(jù)獲取的流程圖。

圖3為本發(fā)明中視頻數(shù)據(jù)寫(xiě)入的流程圖。

具體實(shí)施方式

一般來(lái)說(shuō)，非文件系統(tǒng)的存儲(chǔ)過(guò)程包括數(shù)據(jù)的寫(xiě)入過(guò)程、數(shù)據(jù)的讀取過(guò)程、數(shù)據(jù)的刪除過(guò)程。

在對(duì)數(shù)據(jù)進(jìn)行各種操作之前，首先對(duì)本地?cái)?shù)據(jù)庫(kù)進(jìn)行操作：因?yàn)橄到y(tǒng)中，存在大量的需要實(shí)時(shí)存儲(chǔ)的記錄信息。本發(fā)明采用了Berkeley?DB為原型數(shù)據(jù)庫(kù)，對(duì)系統(tǒng)中的信息進(jìn)行存儲(chǔ)。涉及數(shù)據(jù)庫(kù)的打開(kāi)、關(guān)閉、讀取、寫(xiě)入、檢索。由于該數(shù)據(jù)庫(kù)沒(méi)有采用類SQL數(shù)據(jù)庫(kù)，而是為了性能拋棄了SQL語(yǔ)句支持，進(jìn)而提升了數(shù)據(jù)庫(kù)性能。Berkeley?DB是一個(gè)開(kāi)放的數(shù)據(jù)庫(kù)，其接口是開(kāi)放的、公開(kāi)的。

其次，進(jìn)行硬盤(pán)的打開(kāi)和指針定位：硬盤(pán)在操作系統(tǒng)看來(lái)只是一個(gè)物理設(shè)備，以Linux為例內(nèi)核將其表現(xiàn)為/dev/sd**。這個(gè)就是我們要操作的設(shè)備，如果系統(tǒng)中只有一塊硬盤(pán)則為sda。依次類推為sdb、sdc、sdd、sde……，而在每個(gè)硬盤(pán)的分區(qū)則為：sda1、sda2、sda3（以第一塊兒硬盤(pán)的不同分區(qū)為例）等。我們需要打開(kāi)的設(shè)備為硬盤(pán)設(shè)備、而不是具體的某個(gè)分區(qū)。也就是我們應(yīng)該打開(kāi)sdb、sdc、sdd、sde……設(shè)備，設(shè)備打開(kāi)后根據(jù)數(shù)據(jù)庫(kù)中記錄的該硬盤(pán)的偏移地址，對(duì)硬盤(pán)的操作文件指針進(jìn)行偏移。數(shù)據(jù)寫(xiě)入接入就緒狀態(tài)，等待應(yīng)用數(shù)據(jù)到達(dá)。