[發(fā)明專(zhuān)利]具有數(shù)據(jù)處理功能的文件系統(tǒng)及其使用方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201410854347.2
• 申請(qǐng)日: 2014-12-30
• 公開(kāi)（公告）號(hào): CN104462602B
• 公開(kāi)（公告）日: 2018-03-02
• 發(fā)明（設(shè)計(jì)）人: 李順?lè)?/a>;陳小剛;周密;李鴿子;宋志棠
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)科學(xué)院上海微系統(tǒng)與信息技術(shù)研究所
• 主分類(lèi)號(hào): G06F17/30
• 分類(lèi)號(hào): G06F17/30
• 代理公司: 上海光華專(zhuān)利事務(wù)所(普通合伙)31219
• 代理人: 余明偉

技術(shù)領(lǐng)域

本發(fā)明涉及文件系統(tǒng)技術(shù)領(lǐng)域，特別是涉及一種具有數(shù)據(jù)處理功能的文件系統(tǒng)及其使用方法。

背景技術(shù)

近幾年來(lái)，隨著大數(shù)據(jù)處理和應(yīng)用的急劇增長(zhǎng)，在大數(shù)據(jù)背景下如何快速完成數(shù)據(jù)處理已經(jīng)成為學(xué)術(shù)界和工業(yè)界普遍關(guān)注的一個(gè)熱點(diǎn)問(wèn)題。文件系統(tǒng)作為存儲(chǔ)數(shù)據(jù)的組織管理方式是大數(shù)據(jù)處理的重要組成部分，主要用于控制對(duì)文件數(shù)據(jù)的存取，提供對(duì)文件和目錄的分層組織形式、數(shù)據(jù)緩沖(對(duì)于實(shí)時(shí)系統(tǒng)，允許繞過(guò)緩沖)以及對(duì)文件數(shù)據(jù)存取權(quán)限的控制。

傳統(tǒng)的文件系統(tǒng)保存在非易失存儲(chǔ)器中，當(dāng)應(yīng)用進(jìn)程向傳統(tǒng)的文件系統(tǒng)發(fā)出讀/寫(xiě)文件數(shù)據(jù)的傳統(tǒng)I/O訪(fǎng)問(wèn)請(qǐng)求時(shí)，首先操作系統(tǒng)需要將被訪(fǎng)問(wèn)的數(shù)據(jù)從非易失存儲(chǔ)器中以數(shù)據(jù)頁(yè)形式順序加載到DRAM(Dynamic Random Access Memory，動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器)，然后CPU以隨機(jī)訪(fǎng)問(wèn)的方式訪(fǎng)問(wèn)DRAM中的數(shù)據(jù)，進(jìn)行相應(yīng)的讀取或改寫(xiě)。由于不同存儲(chǔ)介質(zhì)的傳輸速度存在差異，數(shù)據(jù)從非易失存儲(chǔ)器到DRAM的加載時(shí)間會(huì)導(dǎo)致CPU處于等待狀態(tài)，從而大大降低了數(shù)據(jù)處理效率，因此在大數(shù)據(jù)應(yīng)用背景下基于傳統(tǒng)文件系統(tǒng)的數(shù)據(jù)傳輸方式將造成數(shù)據(jù)傳送的瓶頸。同時(shí)，傳統(tǒng)的文件系統(tǒng)訪(fǎng)問(wèn)數(shù)據(jù)時(shí)需要將數(shù)據(jù)加載至DRAM，大量數(shù)據(jù)遷移會(huì)導(dǎo)致多次數(shù)據(jù)復(fù)制、冗余數(shù)據(jù)遷移、加載至DRAM內(nèi)的數(shù)據(jù)的副本占用有限的DRAM內(nèi)存資源，因此大數(shù)據(jù)背景下基于傳統(tǒng)文件系統(tǒng)的數(shù)據(jù)訪(fǎng)問(wèn)帶來(lái)的大量數(shù)據(jù)遷移嚴(yán)重增加了系統(tǒng)內(nèi)存資源的負(fù)擔(dān)。

因此，如何在大數(shù)據(jù)應(yīng)用背景下管理文件系統(tǒng)及控制文件訪(fǎng)問(wèn)，充分發(fā)揮一個(gè)好的文件系統(tǒng)的優(yōu)勢(shì)，如何提高文件的讀寫(xiě)訪(fǎng)問(wèn)速度，如何節(jié)省有限的DRAM資源、提高系統(tǒng)I/O性能等，成為存儲(chǔ)系統(tǒng)亟待解決的問(wèn)題。

發(fā)明內(nèi)容

鑒于以上所述現(xiàn)有技術(shù)的缺點(diǎn)，本發(fā)明的目的在于提供一種具有數(shù)據(jù)處理功能的文件系統(tǒng)及其使用方法，用于解決現(xiàn)有技術(shù)中數(shù)據(jù)處理效率低、系統(tǒng)內(nèi)存資源被大量冗余數(shù)據(jù)占用的問(wèn)題。

為實(shí)現(xiàn)上述目的及其他相關(guān)目的，本發(fā)明提供一種具有數(shù)據(jù)處理功能的文件系統(tǒng)，應(yīng)用于存儲(chǔ)有文件數(shù)據(jù)的存儲(chǔ)系統(tǒng)，所述具有數(shù)據(jù)處理功能的文件系統(tǒng)支持具有常用字符文件名的傳統(tǒng)文件的文件數(shù)據(jù)訪(fǎng)問(wèn)和管理，其中，所述具有數(shù)據(jù)處理功能的文件系統(tǒng)具有一個(gè)系統(tǒng)進(jìn)程，用于啟動(dòng)該文件系統(tǒng)，并能進(jìn)行數(shù)據(jù)處理；

在應(yīng)用進(jìn)程發(fā)出數(shù)據(jù)處理請(qǐng)求時(shí)，所述系統(tǒng)進(jìn)程基于特殊文件接受所述應(yīng)用進(jìn)程發(fā)出的數(shù)據(jù)處理請(qǐng)求，解析所述數(shù)據(jù)處理請(qǐng)求，完成數(shù)據(jù)處理，并將數(shù)據(jù)處理結(jié)果基于所述特殊文件反饋給所述應(yīng)用進(jìn)程；

其中，所述特殊文件為具有特殊字符文件名且不與所述傳統(tǒng)文件重名的文件，所述具有數(shù)據(jù)處理功能的文件系統(tǒng)的每一個(gè)路徑下均具有一個(gè)特殊文件。

優(yōu)選地，在所述應(yīng)用進(jìn)程發(fā)出數(shù)據(jù)處理請(qǐng)求時(shí)，所述應(yīng)用進(jìn)程通過(guò)所述傳統(tǒng)文件的訪(fǎng)問(wèn)接口對(duì)所述特殊文件進(jìn)行數(shù)據(jù)讀/寫(xiě)訪(fǎng)問(wèn)，所述特殊文件將所述數(shù)據(jù)處理請(qǐng)求重新定向發(fā)送到所述系統(tǒng)進(jìn)程，以使所述特殊文件成為所述系統(tǒng)進(jìn)程與所述應(yīng)用進(jìn)程之間的數(shù)據(jù)傳輸通道。

優(yōu)選地，所述系統(tǒng)進(jìn)程適于通過(guò)要訪(fǎng)問(wèn)的文件數(shù)據(jù)所在路徑下的特殊文件接受所述應(yīng)用進(jìn)程發(fā)出的數(shù)據(jù)處理請(qǐng)求，并通過(guò)向該特殊文件所在文件夾中的各級(jí)子文件夾內(nèi)的其他所有特殊文件轉(zhuǎn)發(fā)所述數(shù)據(jù)處理請(qǐng)求，來(lái)實(shí)現(xiàn)數(shù)據(jù)處理功能嵌套調(diào)用，從而實(shí)現(xiàn)各級(jí)子文件夾遍歷數(shù)據(jù)處理，并將各級(jí)數(shù)據(jù)處理結(jié)果逐級(jí)匯總返回，以得到所述數(shù)據(jù)處理結(jié)果。

優(yōu)選地，所述應(yīng)用進(jìn)程發(fā)出的數(shù)據(jù)處理請(qǐng)求為順序查找的數(shù)據(jù)處理請(qǐng)求，固定間隔跳躍查找的數(shù)據(jù)處理請(qǐng)求，樹(shù)型結(jié)構(gòu)查找的數(shù)據(jù)處理請(qǐng)求或者設(shè)備調(diào)用的數(shù)據(jù)處理請(qǐng)求。

優(yōu)選地，在所述應(yīng)用進(jìn)程發(fā)出順序查找的數(shù)據(jù)處理請(qǐng)求時(shí)，所述系統(tǒng)進(jìn)程基于所述特殊文件接受所述數(shù)據(jù)處理請(qǐng)求，然后從所述數(shù)據(jù)處理請(qǐng)求中解析出關(guān)鍵詞和文件查找范圍，然后在所述文件查找范圍內(nèi)順序選擇文件數(shù)據(jù)與所述關(guān)鍵詞進(jìn)行匹配，返回包括匹配計(jì)數(shù)、匹配位置或者兩者結(jié)合的信息，作為所述數(shù)據(jù)處理結(jié)果。

優(yōu)選地，在所述應(yīng)用進(jìn)程發(fā)出固定間隔跳躍查找的數(shù)據(jù)處理請(qǐng)求時(shí)，所述系統(tǒng)進(jìn)程基于所述特殊文件接受所述數(shù)據(jù)處理請(qǐng)求，然后從所述數(shù)據(jù)處理請(qǐng)求中解析出關(guān)鍵詞、文件查找范圍和跳躍步長(zhǎng)，然后從所述文件查找范圍起始位置開(kāi)始，以所述跳躍步長(zhǎng)為固定間隔，跳躍式選擇文件數(shù)據(jù)與所述關(guān)鍵詞進(jìn)行匹配，返回包括匹配計(jì)數(shù)、匹配位置或者兩者結(jié)合的信息，作為所述數(shù)據(jù)處理結(jié)果。