[發明專利]具有堆外緩存的網絡服務系統和方法

有效

• 申請號: 201380045627.2
• 申請日: 2013-08-31
• 公開（公告）號: CN104620219B
• 公開（公告）日: 2017-09-22
• 發明（設計）人: 馬修·D·謝弗;薩欽·古普塔
• 申請（專利權）人: 優米有限公司
• 主分類號: G06F9/44
• 分類號: G06F9/44
• 代理公司: 北京同達信恒知識產權代理有限公司11291
• 代理人: 黃志華,何月華

技術領域

本發明總體涉及用于在實時環境中管理物理內存的計算機化系統。

背景技術

電子商務(通常被稱為“e-commerce”)包括在電子系統(例如互聯網)上的產品或服務的購買和出售。以電子方式進行的交易的數量隨著互聯網技術的廣泛采用而大大增長。電子商務中的一個特別爆炸式增長的領域是廣告領域，尤其是在互聯網上的視頻廣告。

支持互聯網功能的許多網絡服務系統(“web網絡服務系統”)，包括涉及在互聯網上傳送視頻的網絡服務系統，利用面向對象的軟件平臺或偽面向對象的軟件平臺(例如可從甲骨文公司得到的軟件平臺)來實現。Java的一個特征是可移植性，這意味著用Java語言編寫的計算機程序必須類似地運行在任何硬件/操作系統平臺上。通過將Java語言代碼編譯成稱為Java字節碼的中間表示而不是直接編譯成平臺專用機器代碼來實現這點。Java字節碼指令類似于機器代碼，但是旨在通過專門為主機硬件寫入的虛擬機(Virtual Machine，VM)來解釋。標準化庫提供用于訪問主機特定的特征(例如圖形、線程和聯網)的通用方法。

對于用Java編寫的web服務應用的最關鍵的性能問題之一是在虛擬內存空間(被稱為“堆”)的一部分上的數據的垃圾回收。為了防止廢棄的對象填滿堆，可以使用被稱為“垃圾回收”的進程來移除不再使用的對象。垃圾回收操作與“開銷”相關聯，其是其它進程必須暫停的時間段。存在于堆上非常短的時間量的Java對象在垃圾回收期間對開銷的貢獻很小。存在于堆上足夠長時間以被移入“舊時期空間”的對象在垃圾回收期間具有高的開銷。

Java使用自動垃圾回收器來在對象生命周期中管理內存。程序員確定何時創建對象，以及一旦對象不再使用，Java運行時間何時負責恢復內存。一旦未保留對于對象的引用，則不可到達的內存變成適合于通過垃圾回收器自動地釋放。如果程序員的代碼保持引用不再需要的對象，則類似于內存泄露的事情依然會發生，通常是在不再需要的對象存儲在仍在使用的容器中的時候。如果調用用于不存在的對象的方法，則拋出“空指針異常”。

Java包含多種類型的垃圾回收器。常見的垃圾回收可替選地被稱為“并發標記清除(Concurrent Mark Sweep，CMS)回收器”和“CMS垃圾回收器”。然而，還存在幾種其它的可用于管理Java堆內存的垃圾回收器。

Java的自動內存管理模型背后的理念之一在于，可以使程序員免除必須執行手動內存管理的負擔。不幸的是，利用Java，垃圾回收可能發生在任何時間。理想地，當程序空閑時，垃圾回收將發生。然而，如果在堆上不具有足以分配新的對象的空閑內存，則保證垃圾回收被觸發，這會導致程序瞬間停止。利用Java進行顯存管理是不可能的。

對于用Java編寫的web服務應用(例如視頻傳送系統)的最關鍵的性能問題之一是在堆上的數據的垃圾回收。存在非常短的時間量的Java對象在垃圾回收期間幾乎沒有開銷。但是，存在足夠長時間以被移入舊時期空間的對象在垃圾回收期間具有高的開銷。由于垃圾回收是自動的，因此重要的應用程序會暫停，防止及時地執行其功能。

例如，在基于互聯網的傳送視頻廣告的廣告系統中，廣告(“ad”)服務系統可能需要在10毫秒至20毫秒的決定窗口內，使得需要作出決定的所有數據必須被緩存在應用進程的虛擬內存中。如果在堆內存上發起垃圾回收，則應用程序將繼續保持，并且決定窗口將丟失。

對于本領域技術人員來說，在閱讀了以下描述并研究了附圖中的幾幅圖之后，現有技術的這些和其它局限性將變得顯而易見。

發明內容