[發(fā)明專利]文件系統(tǒng)訪問記錄的動(dòng)態(tài)采集方法

無效

• 申請(qǐng)?zhí)枺?/td>: 200810055895.3
• 申請(qǐng)日: 2008-01-11
• 公開（公告）號(hào): CN101216850A
• 公開（公告）日: 2008-07-09
• 發(fā)明（設(shè)計(jì)）人: 鄭緯民;舒繼武;汪旸;薛矛
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué)
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30;G06F11/34
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.文件系統(tǒng)訪問記錄的動(dòng)態(tài)采集方法，其特征在于，該方法是在Linux操作系統(tǒng)內(nèi)核空間中的虛擬文件系統(tǒng)層和底層文件系統(tǒng)之間依次按以下步驟實(shí)現(xiàn)的，

步驟(1).初始化

在所述虛擬文件系統(tǒng)層和底層文件系統(tǒng)之間設(shè)置一個(gè)文件系統(tǒng)操作攔截模塊，該操作攔截模塊包括超級(jí)塊操作攔截模塊、索引節(jié)點(diǎn)操作攔截模塊和文件操作攔截模塊，其中：

超級(jí)塊操作攔截模塊，用于攔截所述底層文件系統(tǒng)中用于存儲(chǔ)設(shè)定文件系統(tǒng)信息的超級(jí)塊的超級(jí)塊操作函數(shù)表所設(shè)定的超級(jí)操作，其中至少含有超級(jí)塊讀寫操作、所述文件系統(tǒng)加載和卸載操作，以及索引節(jié)點(diǎn)的創(chuàng)建和刪除操作，記錄操作的類型，發(fā)生時(shí)間和索引節(jié)點(diǎn)號(hào)，因而，所述超級(jí)塊操作攔截模塊是分別和所述虛擬文件系統(tǒng)層和底層文件系統(tǒng)互連的；

索引節(jié)點(diǎn)操作攔截模塊，一個(gè)所述索引節(jié)點(diǎn)代表所述底層文件系統(tǒng)中的一個(gè)文件，該索引節(jié)點(diǎn)操作攔截模塊用于攔截索引節(jié)點(diǎn)中索引節(jié)點(diǎn)操作函數(shù)表所設(shè)定的索引節(jié)點(diǎn)操作，這些操作至少包含文件的創(chuàng)建、連接、查找、刪除操作，目錄的創(chuàng)建、刪除操作，以及文件的屬性設(shè)置和讀取操作，記錄操作的類型，發(fā)生時(shí)間，索引節(jié)點(diǎn)號(hào)和操作參數(shù)，操作參數(shù)至少包括創(chuàng)建文件操作的文件大小，鏈接數(shù)，創(chuàng)建時(shí)間和訪問時(shí)間參數(shù)，所述索引節(jié)點(diǎn)操作攔截模塊是分別和虛擬文件系統(tǒng)層和底層文件系統(tǒng)互連的；

文件操作攔截模塊，所述文件是指由打開系統(tǒng)調(diào)用、關(guān)閉系統(tǒng)調(diào)用銷毀的已打開的文件，所述文件操作攔截模塊攔截設(shè)在文件內(nèi)操作函數(shù)表中的文件操作，所述文件操作至少包含文件的打開和關(guān)閉，同步讀寫，異步讀寫，向量讀寫，尋址，查找，讀寫控制，發(fā)送文件和發(fā)送頁操作，記錄操作的類型，發(fā)生時(shí)間，索引節(jié)點(diǎn)號(hào)和操作參數(shù)，操作參數(shù)至少包括同步讀寫文件和異步讀寫文件操作的訪問偏移和訪問大小參數(shù)、文件尋址操作的尋址偏移參數(shù)、讀寫控制操作的控制命令和參數(shù)、打開文件操作的文件的用戶屬性，鏈接數(shù)，大小，創(chuàng)建時(shí)間，訪問時(shí)間，修改時(shí)間和打開方式參數(shù)、向量讀寫文件的訪問偏移和訪問次數(shù)參數(shù)、發(fā)送文件操作的訪問偏移和訪問大小參數(shù)以及發(fā)送頁操作的訪問偏移，訪問大小和訪問位置參數(shù)，所述文件系統(tǒng)操作攔截模塊是分別和所述虛擬文件層和底層文件系統(tǒng)互連的；

在所述虛擬文件系統(tǒng)層和底層文件系統(tǒng)之間又設(shè)定一個(gè)訪問記錄輸出模塊，內(nèi)含了訪問記錄壓縮模塊和帶緩存的訪問記錄輸出模塊，其中：

訪問記錄壓縮模塊，三個(gè)輸入端分別和所述超級(jí)塊操作攔截模塊、索引節(jié)點(diǎn)操作攔截模塊和文件操作攔截模塊的操作參數(shù)輸出端相連，所述訪問記錄壓縮模塊通過對(duì)本次操作訪問記錄和上次操作訪問記錄的對(duì)比，刪除其中相同的信息，以減少訪問記錄的大小；

帶緩存的訪問記錄輸出模塊，輸入端和所述訪問記錄壓縮模塊的壓縮過的訪問記錄輸出端相連，以便把訪問記錄保存在自己的內(nèi)存緩沖區(qū)中，當(dāng)緩沖區(qū)滿時(shí)把所有所述內(nèi)存緩沖區(qū)中的內(nèi)容寫入磁盤中，當(dāng)被寫入的磁盤文件大于設(shè)定容量時(shí)，則創(chuàng)建新的文件用于寫入；

此外，在用戶空間，設(shè)有一個(gè)與所述帶緩存的訪問記錄輸出模塊互連的訪問記錄文件管理模塊，采集用戶機(jī)器的CPU、內(nèi)存、磁盤和進(jìn)程信息，把他們和從所述帶緩存的訪問記錄輸出模塊輸出的訪問記錄文件一起壓縮打包，再加上機(jī)器名和時(shí)間，用文件傳輸協(xié)議FTP或安全拷貝協(xié)議SCP發(fā)往用戶指定的用戶機(jī)器，然后，把原訪問記錄文件和包刪除，釋放磁盤空間；

步驟(2).按以下步驟進(jìn)行文件系統(tǒng)訪問記錄的動(dòng)態(tài)采集：

步驟(2.1).獲取所述底層文件系統(tǒng)操作函數(shù)指針：

步驟(2.1.1).虛擬文件系統(tǒng)層通過文件操作攔截模塊打開所述被采集的底層文件系統(tǒng)中的目標(biāo)目錄，得到超級(jí)塊和索引節(jié)點(diǎn)；

步驟(2.1.2).超級(jí)塊操作攔截模塊和索引節(jié)點(diǎn)操作攔截模塊分別得到所述底層文件系統(tǒng)的超級(jí)塊操作函數(shù)集和索引節(jié)點(diǎn)操作函數(shù)集，并記錄之；

步驟(2.2).替換所述底層文件系統(tǒng)的操作函數(shù)指針

步驟(2.2.1).保存用戶指定的需要監(jiān)測(cè)的底層文件系統(tǒng)操作函數(shù)指針到設(shè)定的位置，其中包括超級(jí)塊和索引節(jié)點(diǎn)的操作函數(shù)指針；

步驟(2.2.2).所述虛擬文件系統(tǒng)把底層文件系統(tǒng)函數(shù)指針指向所述超級(jí)塊操作攔截模塊、索引節(jié)點(diǎn)操作攔截模塊中相應(yīng)的操作函數(shù)，以便調(diào)用步驟(2.2.1)中所存的操作函數(shù)，并把他們的返回值返回給用戶；

步驟(2.3).再次獲取所述底層文件系統(tǒng)操作函數(shù)指針：

步驟(2.3.1).超級(jí)塊操作攔截模塊監(jiān)測(cè)超級(jí)塊操作函數(shù)中的讀取索引節(jié)點(diǎn)操作的索引節(jié)點(diǎn)參數(shù)，從中得到索引節(jié)點(diǎn)操作函數(shù)指針

步驟(2.3.2).索引節(jié)點(diǎn)操作攔截模塊監(jiān)測(cè)索引節(jié)點(diǎn)操作中的創(chuàng)建文件和創(chuàng)建連接操作的索引節(jié)點(diǎn)參數(shù)，從中得到索引節(jié)點(diǎn)操作函數(shù)和文件操作函數(shù)

步驟(2.4).再次替換所述底層文件系統(tǒng)的操作函數(shù)指針

步驟(2.4.1).保存用戶指定的需要監(jiān)測(cè)的底層文件系統(tǒng)操作函數(shù)指針到設(shè)定的位置，其中包括步驟(2.3.1)和(2.3.2)中獲取的索引節(jié)點(diǎn)操作函數(shù)和文件操作函數(shù)；

步驟(2.4.2).所述虛擬文件系統(tǒng)把底層文件系統(tǒng)函數(shù)指針指向所述索引節(jié)點(diǎn)操作攔截模塊、文件操作攔截模塊中相應(yīng)的操作函數(shù)，以便調(diào)用步驟(2.4.1)中所存的操作函數(shù)，并把他們的返回值返回給用戶；

步驟(3).超級(jí)塊操作攔截模塊、索引節(jié)點(diǎn)操作攔截模塊和文件操作攔截模塊生成初始文件系統(tǒng)訪問記錄，其中包括：操作類型、操作發(fā)生時(shí)間、目標(biāo)文件或目標(biāo)目錄的索引節(jié)點(diǎn)號(hào)和操作參數(shù)，操作參數(shù)至少含有：創(chuàng)建文件操作的文件大小，鏈接數(shù)，創(chuàng)建時(shí)間和上次訪問時(shí)間參數(shù)；文件尋址操作的尋址偏移參數(shù)；同步讀文件操作的訪問偏移和訪問大小參數(shù)；異步讀文件操作的訪問偏移和訪問大小參數(shù)；同步寫文件操作的訪問偏移和訪問大小參數(shù)；異步寫文件操作的訪問偏移和訪問大小參數(shù)；讀寫控制操作的控制命令和數(shù)據(jù)參數(shù)；打開文件操作的文件的用戶屬性，鏈接數(shù)，大小，創(chuàng)建時(shí)間，訪問時(shí)間，修改時(shí)間和打開方式參數(shù)；向量讀文件操作的訪問偏移和訪問次數(shù)參數(shù)；向量寫文件操作的訪問偏移和訪問次數(shù)參數(shù)；發(fā)送文件操作的訪問偏移和訪問大小參數(shù)；發(fā)送頁操作的訪問偏移，訪問大小和訪問位置參數(shù)；

步驟(4).訪問記錄壓縮模塊對(duì)所述超級(jí)塊操作攔截模塊、索引節(jié)點(diǎn)操作攔截模塊和文件操作攔截模塊輸入的操作類型、操作時(shí)間、操作的索引節(jié)點(diǎn)號(hào)和操作參數(shù)信息進(jìn)行壓縮，從操作的類型、時(shí)間、索引節(jié)點(diǎn)號(hào)和參數(shù)四個(gè)方面分別比較本次和上次是否相同，兩者相同則不保存本次操作的類型或時(shí)間或索引節(jié)點(diǎn)號(hào)或參數(shù)，否則需要保存本次操作的類型或時(shí)間或索引節(jié)點(diǎn)號(hào)或參數(shù)；

步驟(5).輸出文件訪問記錄，其步驟如下：

步驟(5.1).帶緩存的訪問記錄輸出模塊在緩沖區(qū)未滿時(shí)從所述訪問記錄壓縮模塊輸入文件系統(tǒng)的訪問記錄；

步驟(5.2).在緩沖區(qū)已滿時(shí)把訪問記錄輸出到文件中：

步驟(5.2.1).先生成輸出文件名，在一個(gè)輸出文件大小到達(dá)設(shè)定值時(shí)，生成一個(gè)新的輸出文件；

步驟(5.2.2).根據(jù)文件名用追加的方式打開輸出文件把緩沖區(qū)所有記錄寫入輸出文件，再關(guān)閉該輸出文件；

步驟(5.2.3).清空緩沖區(qū)，返回步驟(5.1)；

步驟(6).記錄文件的管理，本步驟和步驟(4)與步驟(5)并行執(zhí)行

步驟(6.1).訪問記錄文件管理模塊記錄用戶機(jī)器的CPU、內(nèi)存、磁盤型號(hào)與容量和進(jìn)程的名字與CPU占用率。

步驟(6.2).在磁盤空間滿時(shí)把步驟(6.1)采集的信息和當(dāng)前已有的訪問記錄文件壓縮打包，加上機(jī)器名和時(shí)間戳發(fā)送到用戶指定的機(jī)器；

步驟(6.3).刪除已有的壓縮包和訪問記錄文件；

步驟(7).根據(jù)用戶命令停止記錄采集功能

步驟(7.1).停止執(zhí)行步驟(2.1)和步驟(2.2)，把替換的所有指針還原；

步驟(7.2).在函數(shù)被執(zhí)行時(shí)，全局計(jì)數(shù)加1，被執(zhí)行完后全局計(jì)數(shù)減1，所有操作函數(shù)執(zhí)行結(jié)束后，全局計(jì)數(shù)應(yīng)為0；在全局計(jì)數(shù)為0時(shí)，停止所有模塊的功能。

2.根據(jù)權(quán)利要求1所述的文件系統(tǒng)訪問記錄的動(dòng)態(tài)采集方法，其特征在于：所述的文件系統(tǒng)操作攔截模塊，訪問記錄輸出模塊和訪問記錄文件管理模塊可以動(dòng)態(tài)加載，無需卸載舊文件系統(tǒng)，因此無需中止正在運(yùn)行的應(yīng)用；采用訪問記錄壓縮和帶緩存的記錄輸出，減少文件輸出的開銷；訪問記錄文件管理模塊可以在大量機(jī)器構(gòu)成的機(jī)群中自動(dòng)管理記錄文件。