[發(fā)明專利]一種動(dòng)靜態(tài)日志文件掃描采集方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201810952495.6
• 申請(qǐng)日: 2018-08-21
• 公開（公告）號(hào): CN109101644A
• 公開（公告）日: 2018-12-28
• 發(fā)明（設(shè)計(jì)）人: 程永新;謝濤;張超志
• 申請(qǐng)（專利權(quán)）人: 上海新炬網(wǎng)絡(luò)信息技術(shù)股份有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 上?？坡蓪＠硎聞?wù)所(特殊普通合伙) 31290
• 代理人: 袁亞軍;金碎平

本發(fā)明公開了一種動(dòng)靜態(tài)日志文件掃描采集方法，包括如下步驟：a)定時(shí)掃描文件列表，獲取共同元數(shù)據(jù)信息；b)判斷當(dāng)前操作系統(tǒng)類型，記錄文件列表中的特定元數(shù)據(jù)信息一起形成文件元數(shù)據(jù)信息；c)生成文件摘要，并保存到日志采集系統(tǒng)作為該文件的校驗(yàn)元數(shù)據(jù)；d)日志采集系統(tǒng)采集文件前，根據(jù)生成的摘要和文件元數(shù)據(jù)信息，跟日志采集系統(tǒng)中已存在的文件校驗(yàn)元數(shù)據(jù)對(duì)照；如果一致，則認(rèn)為當(dāng)前采集的文件內(nèi)容是之前已采集文件內(nèi)容的后續(xù)追加；如果不一致，則認(rèn)為是新文件的內(nèi)容。本發(fā)明針對(duì)日志文件多種動(dòng)靜態(tài)生成方式，使用同一種配置采集日志文件，而不用針對(duì)每一種情況做特定的配置，更為高效，實(shí)用性強(qiáng)，易于推廣。

技術(shù)領(lǐng)域

本發(fā)明涉及一種日志文件掃描采集方法，尤其涉及一種動(dòng)靜態(tài)日志文件掃描采集方法，屬于互聯(lián)網(wǎng)技術(shù)領(lǐng)域。

背景技術(shù)

日志文件是用于記錄系統(tǒng)操作事件的記錄文件，具有處理歷史數(shù)據(jù)、診斷問題的追蹤以及理解系統(tǒng)的活動(dòng)等重要作用，日志文件可以按文件大小滾動(dòng)生、按時(shí)間滾動(dòng)生和靜態(tài)多文件生等多種靜動(dòng)態(tài)日志文件生成方式，目前采集系統(tǒng)針對(duì)不同的日志文件生成方式需配置不同的采集方式，并且當(dāng)日志文件發(fā)生臨時(shí)重命名時(shí)，將會(huì)出現(xiàn)采集失敗，導(dǎo)致日志丟失的情況。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題是提供一種動(dòng)靜態(tài)日志文件掃描采集方法，針對(duì)日志文件多種動(dòng)靜態(tài)生成方式，使用同一種配置采集日志文件，而不用針對(duì)每一種情況做特定的配置，因此更為高效，實(shí)用性強(qiáng)，易于推廣。

本發(fā)明為解決上述技術(shù)問題而采用的技術(shù)方案是提供一種動(dòng)靜態(tài)日志文件掃描采集方法，其中，包括如下步驟：a)定時(shí)掃描記錄目標(biāo)路徑下的文件列表，獲取文件列表中的共同元數(shù)據(jù)信息；b)判斷當(dāng)前操作系統(tǒng)類型，根據(jù)不同操作系統(tǒng)記錄文件列表中的特定元數(shù)據(jù)信息；并將獲得的共同元數(shù)據(jù)信息和特定元數(shù)據(jù)信息組合在一起形成文件元數(shù)據(jù)信息；c)操作系統(tǒng)根據(jù)文件元數(shù)據(jù)信息生成文件摘要，并將文件摘要保存到日志采集系統(tǒng)作為該文件的校驗(yàn)元數(shù)據(jù)；d)日志采集系統(tǒng)采集文件前，根據(jù)生成的摘要和文件元數(shù)據(jù)信息，跟日志采集系統(tǒng)中已存在的文件校驗(yàn)元數(shù)據(jù)對(duì)照；如果一致，則認(rèn)為當(dāng)前采集的文件內(nèi)容是之前已采集文件內(nèi)容的后續(xù)追加；如果不一致，則認(rèn)為是新文件的內(nèi)容。

進(jìn)一步地，所述步驟a)中掃描獲取的共同元數(shù)據(jù)信息包括掃描記錄文件的文件名、文件大小、是否可讀、是否可寫、絕對(duì)路徑、是否為隱藏文件和最后創(chuàng)建修改時(shí)間。

進(jìn)一步地，所述步驟b)中的操作系統(tǒng)為Windows系統(tǒng)，所述Windows系統(tǒng)記錄文件創(chuàng)建時(shí)間、文件在卷中唯一索引和部分文件內(nèi)容作為參數(shù)生成文件摘要，所述文件摘要和文件元數(shù)據(jù)信息一起保存到日志采集系統(tǒng)作為該文件的校驗(yàn)元數(shù)據(jù)。

進(jìn)一步地，所述Windows系統(tǒng)調(diào)用GetFileAttributes接口，獲取Windows文件的更新時(shí)間和文件大小屬性，使用GetFileInformationByHandle獲取卷內(nèi)唯一標(biāo)識(shí)，并與更新時(shí)間、文件大小屬性一起，采用MD5或SHA算法生成長(zhǎng)度固定的文件摘要。

進(jìn)一步地，所述步驟b)中的操作系統(tǒng)為L(zhǎng)inux系統(tǒng)，所述Linux系統(tǒng)記錄inode信息作為全文件系統(tǒng)唯一標(biāo)識(shí)，并與更新時(shí)間、文件大小屬性一起，采用MD5或SHA算法生成長(zhǎng)度固定的文件摘要，并保存到日志采集系統(tǒng)作為該文件的校驗(yàn)元數(shù)據(jù)。

本發(fā)明對(duì)比現(xiàn)有技術(shù)有如下的有益效果：本發(fā)明提供的動(dòng)靜態(tài)日志文件掃描采集方法，針對(duì)日志文件多種動(dòng)靜態(tài)生成方式，使用同一種配置采集日志文件，而不用針對(duì)每一種情況做特定的配置，而且支持日志文件動(dòng)態(tài)變更文件名的情況下，被采集系統(tǒng)采集其內(nèi)容，因此更為高效，實(shí)用性強(qiáng)，易于推廣。

附圖說明

圖1為本發(fā)明動(dòng)靜態(tài)日志文件掃描與采集方法過程示意圖。

具體實(shí)施方式

下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步的描述。