[發明專利]優化寫入方法、優化寫入設備及數據產生和寫入設備

無效

• 申請號: 200810087124.2
• 申請日: 2008-03-19
• 公開（公告）號: CN101539921A
• 公開（公告）日: 2009-09-23
• 發明（設計）人: J·麥克米金;劉光保;K·布魯因斯瑪;余嘯海
• 申請（專利權）人: 國際商業機器公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F11/36
• 代理公司: 中國國際貿易促進委員會專利商標事務所
• 代理人: 李鎮江

技術領域

本發明涉及計算機領域，尤其涉及一種優化軟件程序所產生的數據的優化寫入方法、優化寫入設備及數據產生和寫入設備。

背景技術

軟件產品通常需要產生并輸出一些信息。越是重要的軟件產品，產生的輸出信息越是重要。軟件產生輸出信息的過程以及輸出信息存儲方式也經歷了演化。

在計算機使用的早期階段，軟件產生的信息被直接實時送到打印機或控制臺。操作員需要監視這些信息。

隨著計算機技術的逐步發展，軟件產生的信息逐步開始不直接送到打印機，而是先寫到磁盤文件里。一種典型的軟件產生的信息是日志信息，來記錄軟件運行時的執行過程，以供以后進行軟件跟蹤或統計分析時使用。

圖1示出了對日志信息進行記錄的一種已有技術。圖1所示的記錄產生及寫入裝置包括記錄產生器101’和記錄文件102’。記錄產生器101’根據軟件運行而產生的日志信息直接寫入記錄文件102’，生成程序日志文件。日志文件中包含的記錄稱為日志記錄，日志記錄通常包括由若干字段的信息條目構成的數據。日志文件又被稱為扁平文件。扁平文件意思是文件只包含沒有復雜結構的簡單信息條目日志記錄。除了時間順序外，日志記錄之間沒有其他明顯關系。如果有多個日志文件，則每一個文件基本上都是獨立的。扁平日志文件里的記錄是由可讀的完全形式的信息組成。這些扁平日志文件沒有內在的排序，過濾，分析。當消息文本很長的時候，同樣的長消息文本被重復記錄許多次，這導致向磁盤寫日志記錄的效率的下降。

而且這種以完全形式寫信息會導致存儲在磁盤文件中的數據冗余，使日志文件可能會增長到很大，消耗大量系統存儲資源。當系統需要寫入的記錄很多時，還可能造成延遲，無法保證實時性。

例如，軟件經常產生包含長字段“Group?Names：cn＝mygroup1，cn＝ibmpolicies，o＝ibm”的記錄，其中“Group?Names”是字段名，“cn＝mygroup1，cn＝ibmpolicies，o＝ibm”是字段中包含的信息條目。當第一次生成上述字段時，要記錄“Group?Names：cn＝mygroup1，cn＝ibmpolicies，o＝ibm”。當以后每次生成上述字段時，仍要記錄“Group?Names：cn＝mygroup1，cn＝ibmpolicies，o＝ibm”。這造成了系統資源的浪費和運行效率的下降。

隨著日志產生和存儲技術的進一步發展，如圖2所示，出現了在記錄產生器101’和記錄文件102’之間增加優化寫入器202’以便提高寫日志記錄的效率并節約系統存儲空間的技術。在圖2中，記錄產生及寫入裝置201’包括記錄產生器101’和優化寫入器202’。記錄產生器101’產生的記錄通過優化寫入器202’寫入記錄文件102’。例如，專利US6199070公開了一種技術，其把日志信息存儲在多個數據庫文件里，在多個日志文件之間建立聯系，并利用已經有的數據庫管理的標準功能實現數據標準化，提高寫入效率并節約系統資源。

圖3示出了專利US6199070中描述的系統結構。圖3的優化寫入器202’包括記錄接收器20201’、字段分析器20202’、常見長字段表20203’、匹配識別器20204’、寫入執行器20206’。

根據該已有技術，程序設計人員要事先知道哪些字段中容易出現長的、且重復概率高的信息條目。預先對于每一個這樣的字段(如上文的“Group?Names”)設計一個信息符號表20205’-i(i為從1到n的整數)。開發人員完成程序設計后，系統管理員把該字段中事先了解的重復概率高的信息條目(如上文的“cn＝mygroup1，cn＝ibmpolicies，o＝ibm”)以與一個分配的信息符號相對應的方式預寫到對應的信息符號表20205’-i中。

下面參考圖4描述專利US6199070中的優化寫入器202’的工作過程。

當記錄接收器20201’接收到記錄產生器101’產生的日志記錄后，把該日志記錄所包含的字段逐個地送給字段分析器20202’分析(S41’)。常見長字段表20203’中記錄了事先知道的容易包含長的、且重復概率高的信息條目的字段名(每個字段名對應于一個信息符號表20205’-i)。

當字段分析器20202’判斷出日志記錄所包含的字段不屬于常見長字段表20203’所預先記錄的字段時，將該字段及其信息條目直接送入寫入執行器20206’以便寫入記錄文件102’(S42’)。然后前進到步驟S46’繼續執行。