[發明專利]防止緩存溢出的設備和方法

有效

• 申請號: 201210133887.2
• 申請日: 2012-05-03
• 公開（公告）號: CN102693164A
• 公開（公告）日: 2012-09-26
• 發明（設計）人: 湯成兵;嚴飛;鄧亞力;田偉
• 申請（專利權）人: 中國石油集團川慶鉆探工程有限公司地球物理勘探公司
• 主分類號: G06F11/00
• 分類號: G06F11/00
• 代理公司: 北京銘碩知識產權代理有限公司 11286
• 代理人: 譚昌馳;羅延紅

技術領域

本申請涉及一種防止緩存溢出的設備和方法，尤其涉及一種在UNIX或Linux系統中通過預測可能的緩存系統溢出將臨時文件遷移到網絡文件系統中來防止緩存溢出的設備和方法。

背景技術

在各類行業，計算機用于進行數據的處理和計算，而在許多情況下，用于處理和計算的數據量相當大。例如，在地球物理勘探中，需要在野外采集大量的原始資料，然后根據不同地區的地址特征，采用專業的處理軟件對這些原始數據進行計算。由于處理的數據量大、計算量大，尤其在進行三維地震資料處理時，還會產生大量的中間數據。在UNIX或Linux系統環境下，通常使用指定的緩存文件系統以臨時文件的形式存儲這些中間數據，其中，單個臨時文件一般為2～10GB大小。在實際資料處理過程中，往往會出現緩存溢出，導致作業運行失敗。

目前用于避免本地緩沖區移除的方法大致包括兩種。一種方法是將初始設置的文件系統掛載到空間足夠大的網絡文件系統，并且建立與網絡文件系統的鏈接。這種方法存在的主要問題是由于網絡文件系統的存取速度相對慢，所以整體作業的響應速度慢，并且作業調度系統的靈活性差。另一種方法是將整個臨時文件壓縮以降低使用的空間。但是，這種方法在臨時文件快速增長的情況下仍然會導致緩存空間溢出。

因此，需要一種能夠在不導致作業運行效率明顯劣化的前提下有效地防止緩存溢出的解決方案。

發明內容

本發明的目的在于提供一種防止緩存溢出的設備和方法，在UNIX或Linux系統中，通過預測可能的緩存系統溢出將臨時文件遷移到網絡文件系統中來防止緩存溢出的設備和方法，由于遷移/掛載的不是整個文件系統，所以能夠確保作業的運行不明顯劣化。

根據本發明的一方面，提供一種防止緩存溢出的設備，包括：遷移判斷模塊，用于根據所述臨時文件的大小，按照預定的算法計算本地緩沖區中剩余空間大小的閾值，計算當前本地緩沖區中實際的剩余空間大小，將剩余空間大小的閾值與實際的剩余空間大小進行比較，如果剩余空間大小的閾值大于實際的剩余空間大小，則確定需要進行臨時文件遷移；文件遷移模塊，將臨時文件遷移到預定的目標目錄下，并且在本地緩沖區的目錄下建立到遷移的臨時文件的軟鏈接；緩存監控模塊，監控應用作業對本地緩沖區中臨時文件的操作，當檢測到對本地緩沖區的臨時文件進行寫操作時，控制遷移判斷模塊確定是否需要進行臨時文件遷移，如果確定需要進行臨時文件遷移，則控制文件遷移模塊進行臨時文件遷移。

在所述設備上可運行UNIX或Linux系統，并且所述預定的目標目錄優選為網絡文件系統中的預定文件目錄。

遷移判斷模塊可按照以下算式計算剩余空間大小的閾值Φ：Φ＝k×a，其中，a為單個臨時文件的大小，k是加權系數，值為大于1的整數。

所述設備可根據系統I/O的速率確定k的值。

本地緩沖區中可有至少一個大小相等的臨時文件，并且如果遷移判斷模塊確定剩余空間大小的閾值小于實際的剩余空間大小，則遷移判斷模塊基于剩余空間大小的閾值確定要遷移的臨時文件的個數，并且根據先進先出的原則確定要遷移的文件。

優選地，所述設備還包括遷移記錄模塊，用于記錄臨時文件遷移的狀態信息，所述狀態信息包括遷移的臨時文件的文件名、訪問權限、目標位置以及使用狀態。

優選地，所述設備還包括清理模塊，用于當緩存監控模塊確定在完成應用作業后，根據記錄的狀態信息清除目標目錄下的臨時文件。

根據本發明的另一方面，提供一種防止緩存溢出的方法，包括監控應用作業對本地緩沖區中臨時文件的操作，當檢測到對本地緩沖區的臨時文件進行寫操作時執行以下步驟：根據所述臨時文件的大小，按照預定的算法計算本地緩沖區中剩余空間大小的閾值；計算當前本地緩沖區中實際的剩余空間大小；將剩余空間大小的閾值與實際的剩余空間大小進行比較；如果剩余空間大小的閾值大于實際的剩余空間大小，則將臨時文件遷移到預定的目標目錄下，并且在本地緩沖區的目錄下建立到遷移的臨時文件的軟鏈接。

可在UNIX或Linux環境下執行所述方法，并且所述預定的目標目錄優選為網絡文件系統中的預定文件目錄。

可按照以下算式計算剩余空間大小的閾值Φ：Φ＝k×a，其中，a為單個臨時文件的大小，k是加權系數，值為大于1的整數。

可根據系統I/O的速率確定k的值。

本地緩沖區中可有至少一個大小相等的臨時文件，并且如果剩余空間大小的閾值小于實際的剩余空間大小，則基于剩余空間大小的閾值確定要遷移的臨時文件的個數，并且根據先進先出的原則確定要遷移的文件。