[發(fā)明專利]日志文件存儲方法及裝置

在審

• 申請?zhí)枺?/td>: 201611271221.8
• 申請日: 2016-12-30
• 公開（公告）號: CN106844100A
• 公開（公告）日: 2017-06-13
• 發(fā)明（設(shè)計）人: 黃凱旋;楊寧;顧慶榮;康凱
• 申請（專利權(quán)）人: 江蘇天聯(lián)信息科技發(fā)展有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14;G06F17/30;H04L29/08
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司11227
• 代理人: 郭學(xué)秀,吳敏

技術(shù)領(lǐng)域

本發(fā)明屬于日志文件處理技術(shù)領(lǐng)域，特別是涉及一種日志文件存儲方法及裝置。

背景技術(shù)

內(nèi)容分發(fā)網(wǎng)絡(luò)(Content Delivery Net work，CDN)服務(wù)提供商是通過大量的邊緣節(jié)點(diǎn)服務(wù)器來為客戶提供加速服務(wù)。客戶端的每一次訪問，都會產(chǎn)生對應(yīng)的日志文件。通過對日志文件進(jìn)行分析處理，可以獲取到有價值的信息，從而可以更好地為客戶提供服務(wù)。

Apache Hadoop是一款支持?jǐn)?shù)據(jù)密集型分布式應(yīng)用并以Apache 2.0許可協(xié)議發(fā)布的開源軟件框架，且支持在商品硬件構(gòu)建的大型集群上運(yùn)行的應(yīng)用程序。Hadoop分布式文件系統(tǒng)(Hadoop Distributed File System，HDFS)是Hadoop的一個核心組件，通過將多臺服務(wù)器構(gòu)建一個基于網(wǎng)絡(luò)的分布式文件系統(tǒng)，實(shí)現(xiàn)海量數(shù)據(jù)的存儲。

但是，現(xiàn)有技術(shù)中的基于HDFS的日志文件存儲方法，存在著運(yùn)維成本高的問題。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例解決的問題是如何在日志文件進(jìn)行存儲時節(jié)省開銷。

為解決上述問題，本發(fā)明實(shí)施例提供了一種日志文件存儲方法，所述方法包括：獲取指定目錄下的本地日志文件；將所獲取的本地日志文件寫入對應(yīng)的云端文件；當(dāng)確定所獲取的本地日志文件寫入對應(yīng)的云端文件失敗時，將對應(yīng)的云端文件恢復(fù)至寫入前的狀態(tài)。

可選地，所述將所獲取的本地日志文件寫入對應(yīng)的云端文件，包括：分別采用二進(jìn)制格式打開指定的本地日志文件和對應(yīng)的云端文件；當(dāng)確定采用二進(jìn)制格式打開指定的本地日志文件和對應(yīng)的云端文件成功時，將所述本地日志文件寫入所述云端文件的末尾。

可選地，所述對應(yīng)的云端文件的大小的信息，為在將所獲取的本地日志文件寫入對應(yīng)的云端文件之前獲取。

可選地，當(dāng)確定所獲取的本地日志文件寫入對應(yīng)的云端文件失敗時，所述方法還包括：為所述本地日志文件添加出錯標(biāo)記，并記錄所述對應(yīng)的云端文件寫入前的大小的信息；當(dāng)再次遍歷至所述本地日志文件且檢測到所述出錯標(biāo)記時，獲取所述對應(yīng)的云端文件寫入前的大小的信息；基于所述對應(yīng)的云端文件寫入前的大小的信息，將對應(yīng)的云端文件恢復(fù)至寫入前的狀態(tài)；當(dāng)將對應(yīng)的云端文件恢復(fù)至寫入前的狀態(tài)時，重新執(zhí)行所述將所述本地日志文件寫入對應(yīng)的云端文件的操作。

可選地，所述基于所述對應(yīng)的云端文件寫入前的大小的信息，將對應(yīng)的云端文件恢復(fù)至寫入前的狀態(tài)，包括：刪除對應(yīng)的云端文件的末尾的文件，以將對應(yīng)的云端文件恢復(fù)至對應(yīng)的云端文件寫入前的大小。

本發(fā)明實(shí)施例還提供了一種日志文件存儲裝置，所述裝置包括：第一獲取單元，適于獲取指定目錄下的本地日志文件；發(fā)送單元，適于將所獲取的本地日志文件寫入對應(yīng)的云端文件；恢復(fù)單元，適于當(dāng)確定所獲取的本地日志文件寫入對應(yīng)的云端文件失敗時，將對應(yīng)的云端文件恢復(fù)至寫入前的狀態(tài)。

可選地，所述發(fā)送單元，適于分別采用二進(jìn)制格式打開指定的本地日志文件和對應(yīng)的云端文件；當(dāng)確定采用二進(jìn)制格式打開指定的本地日志文件和對應(yīng)的云端文件成功時，將所述本地日志文件寫入所述云端文件的末尾。

可選地，所述裝置還包括：第二獲取單元，適于在將所獲取的本地日志文件寫入對應(yīng)的云端文件之前獲取對應(yīng)的云端文件的大小的信息。

可選地，所述裝置還包括：標(biāo)記單元，適于為所述本地日志文件添加出錯標(biāo)記，并記錄所述對應(yīng)的云端文件寫入前的大小的信息；恢復(fù)單元，適于當(dāng)再次遍歷至所述本地日志文件且檢測到所述出錯標(biāo)記時，獲取所述對應(yīng)的云端文件寫入前的大小的信息；基于所述對應(yīng)的云端文件寫入前的大小的信息，將對應(yīng)的云端文件恢復(fù)至寫入前的狀態(tài)；重試單元，適于當(dāng)將對應(yīng)的云端文件恢復(fù)至寫入前的狀態(tài)時，重新執(zhí)行所述將所述本地日志文件寫入對應(yīng)的云端文件的操作

可選地，所述恢復(fù)單元，適于刪除對應(yīng)的云端文件的末尾的文件，以將對應(yīng)的云端文件恢復(fù)至對應(yīng)的云端文件寫入前的大小。

與現(xiàn)有技術(shù)相比，本發(fā)明的技術(shù)方案具有以下的優(yōu)點(diǎn)：

上述的方案，通過在確定將本地日志文件寫入對應(yīng)的云端文件失敗時，將對應(yīng)的云端文件自動恢復(fù)至寫入前的大小，而無需人工手動刪除寫入失敗本地日志文件，可以節(jié)省由于日志文件寫入失敗進(jìn)行刪除所耗費(fèi)的時間人力資源，因而可以提高效率，并節(jié)約資源。

附圖說明

圖1是本發(fā)明實(shí)施例中一種的日志文件存儲方法的流程圖；

圖2是本發(fā)明實(shí)施例中另一種日志文件存儲方法的流程圖；

圖3是本發(fā)明實(shí)施例中如何對緩存周期內(nèi)的日志文件進(jìn)行壓縮合并得到對應(yīng)的本地日志文件的流程圖；