[發明專利]一種存儲日志數據的方法及日志數據存儲系統

有效

• 申請號: 201110204958.9
• 申請日: 2011-07-21
• 公開（公告）號: CN102891873A
• 公開（公告）日: 2013-01-23
• 發明（設計）人: 丁銳;蔣悅;劉明亮
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 王一斌;王琦

技術領域

本發明涉及計算機信息處理技術，特別涉及一種存儲日志數據的方法及日志數據存儲系統。

背景技術

隨著計算機互聯網技術的快速發展，互聯網上的業務以及業務中的應用數量也迎來了爆發性的增長，用戶每天在使用運營商提供的這些業務及應用產品時，會產生大量的業務使用記錄數據，而如何可靠地存儲并收集用戶使用這些應用產生的業務使用記錄數據，以利于后續能夠對存儲的業務使用記錄數據進行提取，進而運用數據分析、數據挖掘等技術，統計并分析業務使用記錄數據中包含的用戶習慣以及用戶特征行為，從中找出對運營商有價值的信息，從而指導應用產品改進、拓展以及推出新的應用產品，幫助應用產品推廣，顯得極為重要。

現有技術中，業務及應用產品運營過程中產生的各種用戶業務使用記錄數據，通常以日志數據的形式進行存儲，存儲方法大概分為兩種，下面進行簡要說明。

其一，各客戶端通過內嵌在業務程序內部的日志模塊進行日志輸出，并在本地存儲各業務產生的日志數據，然后通過預先編制的調用程序，將存儲在本地的各業務日志數據集中起來以備后續分析。

由于運營商在進行日志數據分析時，需要提取多個客戶端、多個用戶使用業務程序產生的日志數據，因而，該方案中，需要日志數據分析人員分別從不同客戶端采集日志數據，使得人力成本較高、操作不方便，基于此，提出了下面第二種日志數據存儲方法。

其二，采用客戶端/服務器(C/S，Client/Server)架構的日志數據存儲系統存儲方式，日志數據存儲系統包括客戶端以及日志服務器，客戶端通過自定義協議與日志服務器進行通信，并協同工作，即各客戶端將用戶在應用產品運營過程中產生的日志數據，根據與日志服務器協商確定的自定義協議進行封裝后，通過網絡傳輸到日志服務器，日志服務器將接收的日志數據保存下來以備后續分析、統計。其中，客戶端可以為一個或多個，日志服務器也可以為一個或多個。這樣，各客戶端通過網絡傳輸與日志服務器相連，無需日志數據分析人員進行人工采集，操作較為方便，降低了人力成本。但是，由于各客戶端根據與日志服務器協商的自定義協議來封裝、保存日志數據，沒有規范、統一的日志數據結構，導致不同業務上報到服務器的日志，其日志數據結構不一致，使得日志服務器需要對不同業務產生的日志數據進行日志數據結構的統一再進行存儲，以利后續分析，需要耗費一定的計算資源，使得日志數據存儲系統資源利用效率較低。進一步地，如果日志服務端出錯，或者由于日志服務器升級維護等原因暫時不能提供服務，則會導致傳輸的日志數據的丟失，降低了日志數據存儲的可靠性。

發明內容

有鑒于此，本發明的主要目的在于提出一種存儲日志數據的方法，提高資源利用效率、提升日志數據存儲的可靠性。

本發明的另一目的在于提出一種日志數據存儲系統，提高資源利用效率、提升日志數據存儲的可靠性。

為達到上述目的，本發明提供了一種存儲日志數據的方法，該方法包括：

當需要接入新的業務到日志服務器時，在日志服務器的web管理頁面上為待接入的業務申請日志ID，并定義日志ID對應的日志數據結構；

在客戶端中設置并啟動日志上報代理；

獲取API庫模塊中存儲的API，業務程序將通過調用API庫模塊中的API來上報業務程序產生的日志數據；

根據申請的業務日志ID對應的日志數據結構，封裝業務程序產生的日志數據，調用已獲取的API，API將日志數據組織后輸出至共享內存進行存儲；

共享內存中維護了一個循環隊列，隊列中存儲的是業務日志數據；

日志上報代理讀取共享內存中的日志數據，根據日志數據包含的日志ID，將讀取的日志數據寫入緩存文件夾中相應的緩存文件中，日志上報代理再通過與日志服務器之間的網絡連接，將緩存文件中的日志數據上報至日志服務器存儲。

所述在日志服務器的web管理頁面上為待接入的業務日志申請日志ID，并定義日志ID對應的日志數據結構包括：

當有新的業務需要接入該日志服務器，業務開發人員到該日志服務器的web管理頁面上為該業務申請日志ID，申請時定義該日志ID對應的日志數據結構，日志數據結構是字段式的，在定義的時候指定每個字段的名稱，數據類型，代表的含義。

在為待接入的業務申請日志ID后，進一步包括：

設置該日志ID對應的日志數據在日志服務器中的存儲方式：所述存儲方式包括mysql數據庫存儲以及日志文件存儲，所述mysql數據庫存儲方式為日志服務器將業務日志數據實時的寫入mysql數據庫中，所述日志文件存儲方式為將數據寫入文本文件中。