[發(fā)明專利]一種單點日志存儲方法

有效

• 申請?zhí)枺?/td>: 202110259650.8
• 申請日: 2021-03-10
• 公開（公告）號: CN113076060B
• 公開（公告）日: 2022-02-22
• 發(fā)明（設計）人: 李文宇
• 申請（專利權(quán)）人: 杭州又拍云科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;H04L67/06
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 陳升華

本發(fā)明公開了一種單點日志存儲方法，包括以下步驟：當邊緣節(jié)點的客戶端發(fā)送日志上傳請求后，服務端解析出特征參數(shù)；通過使用磁盤分布參數(shù)初始化散列算法，將特征參數(shù)輸入到初始化后的散列算法，計算得到磁盤塊偏移量，根據(jù)磁盤塊偏移量確定日志文件存儲盤塊，將日志文件存儲盤塊和日志上傳請求中的統(tǒng)一資源標識符建立關(guān)聯(lián)，確定日志文件的邏輯存儲位置；將確定的日志文件的邏輯存儲位置輸入到冗余存儲算法中，計算得出日志文件的多個物理存儲路徑；根據(jù)多個物理存儲路徑將日志文件從網(wǎng)卡緩沖區(qū)移動到磁盤緩沖區(qū)，再從磁盤緩沖區(qū)移動到目標磁盤扇區(qū)，達到高可用高性能的單點日志存取處理能力。

技術(shù)領(lǐng)域

本發(fā)明涉及日志文件處理性能優(yōu)化和文件可靠存儲領(lǐng)域，具體涉及一種單點日志存儲方法。

背景技術(shù)

隨著大數(shù)據(jù)時代的到來，互聯(lián)網(wǎng)公司的業(yè)務服務將產(chǎn)生大量的日志，大量統(tǒng)計分析業(yè)務場景依賴日志信息，日志量級的增長與分析業(yè)務類型的豐富，傳統(tǒng)文件存儲的方式存在嚴重的性能瓶頸，嚴重阻礙正常分析業(yè)務的發(fā)展。

傳統(tǒng)日志文件存儲方法，是基于磁盤文件系統(tǒng)完成的簡單文件管理過程。在海量數(shù)據(jù)場景下存在諸多問題，比如文件可靠性不足，文件查找效率低下，管理流程繁瑣等等。需要投入大量硬件和花費高昂人月成本維護軟件。

發(fā)明內(nèi)容

本發(fā)明的目的是在有限硬件資源的情況下，提供了一種單點日志存儲方法，達到高可用高性能的單點日志存取處理能力。

為解決上述技術(shù)問題，本發(fā)明提供一種單點日志存儲方法，包括以下步驟：

(1)當邊緣節(jié)點的客戶端發(fā)送日志上傳請求后，服務端解析出特征參數(shù)；

(2)通過使用磁盤分布參數(shù)初始化散列算法，將步驟1)獲得的特征參數(shù)輸入到初始化后的散列算法，計算得到磁盤塊偏移量，根據(jù)磁盤塊偏移量確定日志文件存儲盤塊，將日志文件存儲盤塊和日志上傳請求中的統(tǒng)一資源標識符建立關(guān)聯(lián)，確定日志文件的邏輯存儲位置；

(3)將步驟(2)確定的日志文件的邏輯存儲位置輸入到冗余存儲算法中，計算得出日志文件的多個物理存儲路徑；

(4)根據(jù)步驟(3)得到的多個物理存儲路徑將日志文件從網(wǎng)卡緩沖區(qū)移動到磁盤緩沖區(qū)，再從磁盤緩沖區(qū)移動到目標磁盤扇區(qū)。

本發(fā)明中，采用散列算法和冗余存儲算法結(jié)合，散列算法可以確定日志文件的邏輯存儲位置，冗余存儲算法可以確定日志文件的多個物理存儲路徑，提高日志文件存儲的可靠性，避免某些磁盤損壞而導致無法獲取文件。

步驟(1)中，所述的特征參數(shù)包括：機名、網(wǎng)絡IP、日志生成時間、日志所屬應用名稱等等。

步驟(2)中，所述的磁盤分布參數(shù)是根據(jù)需要存儲的磁盤確定的，是已知參數(shù)。

優(yōu)選的，特定散列算法模型，滿足計算效率高且隨機特征分布良好，混合使用MurmurHash和FNV散列算法達到性能最優(yōu)。

所述的散列算法為MurmurHash散列算法和FNV散列算法。

將步驟1)獲得的特征參數(shù)輸入到初始化后的散列算法，具體包括：

將特征參數(shù)中的機名和網(wǎng)絡IP輸入到初始化后的FNV散列算法，得到第一計算值；

將特征參數(shù)中的日志生成時間、日志所屬應用名稱輸入到初始化后的MurmurHash散列算法，得到第二計算值；

將第一計算值和第二計算值進行疊加，取模得到磁盤塊偏移量。

本發(fā)明中，其中，F(xiàn)NV散列算法能夠?qū)⒉灰?guī)則的字符串充分離散化；MurmurHash散列算法將有規(guī)律的連續(xù)字符串充分離散化；采用FNV散列算法和MurmurHash散列算法結(jié)合，可高效均勻地分配到各個磁盤中，避免某些磁盤分配不均。

所述的單點日志存儲方法，還包括：