[發明專利]一種存儲日志數據的方法及日志數據存儲系統

有效

• 申請號: 201110204958.9
• 申請日: 2011-07-21
• 公開（公告）號: CN102891873A
• 公開（公告）日: 2013-01-23
• 發明（設計）人: 丁銳;蔣悅;劉明亮
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 王一斌;王琦

1.一種存儲日志數據的方法，其特征在于，該方法包括：

當需要接入新的業務到日志服務器時，在日志服務器的web管理頁面上為待接入的業務申請日志ID，并定義日志ID對應的日志數據結構；

在客戶端中設置并啟動日志上報代理；

獲取API庫模塊中存儲的API，業務程序將通過調用API庫模塊中的API來上報業務程序產生的日志數據；

根據申請的業務日志ID對應的日志數據結構，封裝業務程序產生的日志數據，調用已獲取的API，API將日志數據組織后輸出至共享內存進行存儲；

共享內存中維護了一個循環隊列，隊列中存儲的是業務日志數據；

日志上報代理讀取共享內存中的日志數據，根據日志數據包含的日志ID，將讀取的日志數據寫入緩存文件夾中相應的緩存文件中，日志上報代理再通過與日志服務器之間的網絡連接，將緩存文件中的日志數據上報至日志服務器存儲。

2.如權利要求1所述的方法，其特征在于，所述在日志服務器的web管理頁面上為待接入的業務日志申請日志ID，并定義日志ID對應的日志數據結構包括：

當有新的業務需要接入該日志服務器，業務開發人員到該日志服務器的web管理頁面上為該業務申請日志ID，申請時定義該日志ID對應的日志數據結構，日志數據結構是字段式的，在定義的時候指定每個字段的名稱，數據類型，代表的含義。

3.如權利要求2所述的方法，其特征在于，在為待接入的業務申請日志ID后，進一步包括：

設置該日志ID對應的日志數據在日志服務器中的存儲方式：所述存儲方式包括mysql數據庫存儲以及日志文件存儲，所述mysql數據庫存儲方式為日志服務器將業務日志數據實時的寫入mysql數據庫中，所述日志文件存儲方式為將數據寫入文本文件中。

4.如權利要求1至3任一項所述的方法，其特征在于，進一步包括：

日志服務器成功接收日志數據并保存之后，反饋信息給日志上報代理，日志上報代理刪除客戶端對應的緩存文件。

5.如權利要求1所述的方法，其特征在于，所述將緩存文件中的日志數據上報至日志服務器存儲包括：

日志服務器接收客戶端上報的日志數據，根據日志數據包含的日志ID，最終將同一日志ID對應的日志數據保存在一起，根據申請時指定的存儲方式不同，或者寫入mysql數據庫中，或者寫入文本文件中。

6.如權利要求5所述的方法，其特征在于，進一步包括：

基于日志服務器存儲的日志數據進行數據分析。

7.一種日志數據存儲系統，其特征在于，該系統包括：客戶端以及日志服務器，其中，

客戶端為需要上報日志數據的業務程序所在機器；業務程序開發人員申請得到業務對應的日志ID；在客戶端啟動日志上報代理，在業務程序中鏈接預先獲得的API；在業務程序中調用預先獲得的API，傳入參數為日志ID及該日志ID對應日志數據結構的各個字段；API將日志數據封裝后輸出至共享內存進行緩存；日志上報代理首先讀取共享內存中的日志數據，解析出日志數據中包含的日志ID，根據解析的信息將讀到的日志數據寫入緩存文件夾中的緩存文件中；日志上報代理再通過與日志服務器間的網絡連接將緩存文件中數據上報至日志服務器存儲；日志服務器保存成功后返回確認信息給上報代理，上報代理刪除對應的緩存文件；

日志服務器，提供web管理頁面，供待接入的業務開發人員申請日志ID，并查看日志ID對應的日志數據；通過網絡連接接收日志上報代理上報的日志數據進行存儲，并且在連接建立的時候根據IP地址對日志上報代理進行權限檢查，沒有權限的日志上報代理上報的日志數據被直接丟棄。