[發(fā)明專利]一種日志采集數(shù)據(jù)壓縮方法、解壓縮方法及裝置

有效

• 申請?zhí)枺?/td>: 201210112487.3
• 申請日: 2012-04-17
• 公開（公告）號: CN103379136B
• 公開（公告）日: 2017-02-22
• 發(fā)明（設(shè)計）人: 陳肅;陶振武;胡可云
• 申請（專利權(quán)）人: 中國移動通信集團(tuán)公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京同達(dá)信恒知識產(chǎn)權(quán)代理有限公司11291
• 代理人: 郭潤湘

技術(shù)領(lǐng)域

本發(fā)明涉及通信技術(shù)領(lǐng)域中的網(wǎng)絡(luò)日志采集技術(shù)領(lǐng)域，尤其涉及一種日志采集數(shù)據(jù)壓縮方法、解壓縮方法及裝置。?

背景技術(shù)

隨著互聯(lián)網(wǎng)的發(fā)展，根據(jù)用戶的實際偏好進(jìn)行業(yè)務(wù)優(yōu)化和個性化信息服務(wù)已經(jīng)成為業(yè)內(nèi)的普遍共識。實際應(yīng)用情況表明，采用個性化服務(wù)后，通常會帶來超過20％的業(yè)務(wù)量提升。實現(xiàn)個性化服務(wù)的前提是獲取用戶的訪問偏好信息，例如，可以通過在應(yīng)用系統(tǒng)/Web頁面中植入采集代碼實現(xiàn)的。采集代碼將用戶訪問網(wǎng)站的行為以日志形式記錄，并發(fā)送到日志采集服務(wù)器，從而實現(xiàn)用戶行為的匯總分析。這種偏好數(shù)據(jù)的獲取方法的局限在于只能獲取用戶在一個或幾個指定網(wǎng)站中的訪問偏好，難以得到用戶較為完整的互聯(lián)網(wǎng)訪問行為記錄，進(jìn)而限制了對用戶的訪問偏好分析的準(zhǔn)確性和應(yīng)用效果。此外，在應(yīng)用系統(tǒng)/Web頁面中植入代碼進(jìn)行訪問網(wǎng)站的日志采集，會帶來額外的開發(fā)和維護(hù)成本。?

目前，現(xiàn)有技術(shù)中還提出一種從用戶網(wǎng)絡(luò)接入的網(wǎng)關(guān)設(shè)備上進(jìn)行網(wǎng)絡(luò)日志采集的方案。當(dāng)用戶使用2G/3G移動通訊網(wǎng)絡(luò)，或使用PPPoE(point-to-point?protocol?over?ethemet)等協(xié)議連入有線網(wǎng)絡(luò)后，可以由網(wǎng)關(guān)設(shè)備側(cè)的網(wǎng)絡(luò)日志服務(wù)器，從網(wǎng)關(guān)設(shè)備上獲得用戶的上網(wǎng)日志，例如，典型的日志信息包括：UID(User?Identifier，用戶標(biāo)識)、URL(Uniform/Universal?Resource?Locator，統(tǒng)一資源定位符)、時間戳、以及其它屬性字段等。這些日志信息匯總到日志采集服務(wù)器后，可用于分析用戶偏好，實現(xiàn)業(yè)務(wù)優(yōu)化和個性化服務(wù)。?

由于網(wǎng)絡(luò)中網(wǎng)關(guān)設(shè)備的數(shù)量較多，且分布不均的特點，用于從網(wǎng)關(guān)設(shè)備上獲取網(wǎng)絡(luò)日志的各網(wǎng)絡(luò)日志服務(wù)器在物理上是分布式的，并需要將各自得到的?日志采集數(shù)據(jù)通過網(wǎng)絡(luò)傳送至日志采集服務(wù)器，由于日志采集數(shù)據(jù)的數(shù)據(jù)量較大，將日志采集數(shù)據(jù)傳送至日志采集服務(wù)器則需要較高的網(wǎng)絡(luò)帶寬資源，且當(dāng)日志采集數(shù)據(jù)在保存時，也需要較多的存儲資源。?

發(fā)明內(nèi)容

本發(fā)明實施例提供一種日志采集數(shù)據(jù)壓縮方法、解壓縮方法及裝置，用以解決現(xiàn)有技術(shù)中存在的傳輸日志采集數(shù)據(jù)所需的網(wǎng)絡(luò)帶寬資源較多，存儲日志采集數(shù)據(jù)所需的存儲資源較多的問題。?

本發(fā)明實施例提供一種日志采集數(shù)據(jù)壓縮方法，包括：?

獲取日志采集數(shù)據(jù)；?

分別對所述日志采集數(shù)據(jù)中各屬性字段的各屬性值進(jìn)行編碼，得到與每個屬性值對應(yīng)的壓縮編碼；?

使用得到的所述壓縮編碼，替換所述日志采集數(shù)據(jù)中對應(yīng)的屬性值，得到壓縮后的日志采集數(shù)據(jù)。?

本發(fā)明實施例還提供一種日志采集數(shù)據(jù)解壓縮方法，包括：?

獲取壓縮后的日志采集數(shù)據(jù)，和未壓縮的日志采集數(shù)據(jù)中各屬性字段的各屬性值的編碼表；?

使用所述編碼表中與各壓縮編碼分別對應(yīng)的屬性值，替換所述壓縮后的日志采集數(shù)據(jù)中對應(yīng)的壓縮編碼，得到解壓縮后的日志采集數(shù)據(jù)。?

本發(fā)明實施例還提供一種日志采集數(shù)據(jù)壓縮裝置，包括：?

第一獲取單元，用于獲取日志采集數(shù)據(jù)；?

第一壓縮處理單元，用于分別對所述日志采集數(shù)據(jù)中各屬性字段的各屬性值進(jìn)行編碼，得到與每個屬性值對應(yīng)的壓縮編碼；?

第二壓縮處理單元，用于使用得到的所述壓縮編碼，替換所述日志采集數(shù)據(jù)中對應(yīng)的屬性值，得到壓縮后的日志采集數(shù)據(jù)。?

本發(fā)明實施例還提供一種日志采集數(shù)據(jù)解壓縮裝置，包括：?

第二獲取單元，用于獲取壓縮后的日志采集數(shù)據(jù)，和未壓縮的日志采集數(shù)據(jù)中各屬性字段的各屬性值的編碼表；?

解壓縮單元，用于使用所述編碼表中與各壓縮編碼分別對應(yīng)的屬性值，替換所述壓縮后的日志采集數(shù)據(jù)中對應(yīng)的壓縮編碼，得到解壓縮后的日志采集數(shù)據(jù)。?

本發(fā)明有益效果包括：?

本發(fā)明實施例提供的方法中，在對日志采集數(shù)據(jù)進(jìn)行壓縮時，首先分別對日志采集數(shù)據(jù)中各屬性字段的各屬性值進(jìn)行編碼，得到與每個屬性值對應(yīng)的壓縮編碼，然后使用得到的壓縮編碼，替換日志采集數(shù)據(jù)中對應(yīng)的屬性值，得到壓縮后的日志采集數(shù)據(jù)。相應(yīng)的，在解壓縮時，可以使用未壓縮的日志采集數(shù)據(jù)中各屬性字段的各屬性值的編碼表中，與各壓縮編碼分別對應(yīng)的屬性值，替換壓縮后的日志采集數(shù)據(jù)中對應(yīng)的壓縮編碼，得到解壓縮后的日志采集數(shù)據(jù)。由于壓縮編碼的數(shù)據(jù)量小于對應(yīng)的屬性值的數(shù)據(jù)量，所以，采用本發(fā)明實施例提供的日志采集數(shù)據(jù)的壓縮方法，通過壓縮能夠減少日志采集數(shù)據(jù)的數(shù)據(jù)量，從而使得在保存時減少所需的存儲資源，在傳輸時可以減少所需的網(wǎng)絡(luò)帶寬資源，并且提高傳輸效率。?

附圖說明