[發(fā)明專利]大數(shù)據(jù)處理中的虛擬內(nèi)存管理方法及其裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201410368134.9
• 申請(qǐng)日: 2014-07-30
• 公開（公告）號(hào): CN104111896B
• 公開（公告）日: 2017-07-14
• 發(fā)明（設(shè)計(jì)）人: 鄭家亮;雷曉凌
• 申請(qǐng)（專利權(quán)）人: 云南大學(xué)
• 主分類號(hào): G06F12/02
• 分類號(hào): G06F12/02;G06F9/455
• 代理公司: 昆明科陽(yáng)知識(shí)產(chǎn)權(quán)代理事務(wù)所53111
• 代理人: 李行健

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)系統(tǒng)優(yōu)化技術(shù)領(lǐng)域，具體涉及一種大數(shù)據(jù)處理中的虛擬內(nèi)存管理方法及其裝置。

背景技術(shù)

雖然計(jì)算機(jī)硬件發(fā)展迅速，內(nèi)存容量增長(zhǎng)很快，從KB級(jí)到MB級(jí)，再到GB級(jí)，一個(gè)級(jí)別增長(zhǎng)千倍，但需求也在不斷增長(zhǎng)。現(xiàn)在進(jìn)入了大數(shù)據(jù)處理的時(shí)代，再多的內(nèi)存配置也不能滿足所有的應(yīng)用需求。另一方面，大容量的內(nèi)存配置也意味著較高的硬件投入，人們總希望配置一般的計(jì)算機(jī)也能處理大量的數(shù)據(jù)。

相對(duì)內(nèi)存的容量與成本，磁盤具有成本低、容量大的特點(diǎn)，在這樣的背景下就出現(xiàn)了虛擬內(nèi)存技術(shù)。虛擬內(nèi)存是指利用一部分硬盤存儲(chǔ)空間作為內(nèi)存來(lái)使用，以增加總的可使用內(nèi)存量。當(dāng)物理內(nèi)存用完后，操作系統(tǒng)選擇將內(nèi)存中的部分內(nèi)容寫到作為虛擬內(nèi)存的交換文件上。

由于計(jì)算機(jī)內(nèi)存的訪問速度遠(yuǎn)遠(yuǎn)高于硬盤的讀寫速度，虛擬內(nèi)存技術(shù)僅解決了物理內(nèi)存不足的問題。當(dāng)使用到虛擬內(nèi)存時(shí)，計(jì)算機(jī)的性能明顯下降。因此虛擬內(nèi)存技術(shù)總希望找到最佳的虛擬內(nèi)存調(diào)度算法，盡量少使用虛擬內(nèi)存，盡量提前把下一步可能使用的數(shù)據(jù)置換調(diào)入物理內(nèi)存。

虛擬內(nèi)存管理主要的關(guān)鍵問題，一是調(diào)度：決定哪些數(shù)據(jù)應(yīng)被調(diào)入物理內(nèi)存中；二是地址映射：把訪問地址變換成為物理內(nèi)存地址或虛內(nèi)存物理地址；三是替換：決定哪些程序和數(shù)據(jù)應(yīng)被調(diào)出主存(物理內(nèi)存)；四是更新：要確保主存與輔存(虛擬內(nèi)存)數(shù)據(jù)的一致性。其中替換問題與調(diào)度問題一并統(tǒng)一作為調(diào)度問題來(lái)處理。

虛擬內(nèi)存調(diào)度方式有分頁(yè)式、段式、段頁(yè)式3種。頁(yè)式調(diào)度是將邏輯和物理地址空間都分成固定大小的頁(yè)。物理內(nèi)存按頁(yè)順序編號(hào)，而每個(gè)獨(dú)立編址的程序空間有自己的頁(yè)號(hào)順序，通過(guò)調(diào)度虛擬存儲(chǔ)中程序的各頁(yè)可以離散裝入物理內(nèi)存中不同的頁(yè)面位置。段式調(diào)度是按程序的邏輯結(jié)構(gòu)劃分地址空間，段的長(zhǎng)度是隨意的，并且允許伸長(zhǎng)。將這兩種方法結(jié)合起來(lái)便構(gòu)成段頁(yè)式調(diào)度。

在某些情況下，操作系統(tǒng)忙于從物理內(nèi)存到虛擬內(nèi)存調(diào)入、調(diào)出頁(yè)，CPU資源占用很大，內(nèi)存操作等待時(shí)間很長(zhǎng)，通常稱為顛簸(Thrashing)現(xiàn)象。

操作系統(tǒng)通常可以把一個(gè)當(dāng)前不活動(dòng)的進(jìn)程所占用的內(nèi)存調(diào)出到虛擬內(nèi)存中，而把正在操作的活動(dòng)進(jìn)程盡量放在物理內(nèi)存中。但是當(dāng)一個(gè)進(jìn)程占用的內(nèi)存就已超過(guò)物理內(nèi)存容量時(shí)，操作系統(tǒng)虛擬內(nèi)存調(diào)試方法就有局限性。在這種情況下我們常遇到應(yīng)用軟件的速度性能大幅度下降，甚至出現(xiàn)假死機(jī)現(xiàn)象。

另一個(gè)問題是操作系統(tǒng)多考慮一般性問題，當(dāng)物理內(nèi)存基本耗盡時(shí)，才開始調(diào)度使用虛擬內(nèi)存，隨后如果內(nèi)存分配需求大的話，伴隨著大量的虛擬內(nèi)存調(diào)度，速度性能成指數(shù)下降。

一類大數(shù)據(jù)處理中需要大量分配內(nèi)存，每次分配的內(nèi)存較大，比如100KB到10MB，而且很多分配的內(nèi)存尺寸是相同或相近的，比如處理同樣大小的大量數(shù)據(jù)。通常當(dāng)分配總量接近或超過(guò)可用的計(jì)算機(jī)物理內(nèi)存中，操作系統(tǒng)啟用虛擬內(nèi)存管理。但是操作系統(tǒng)虛擬內(nèi)存管理并不能最佳化處理這種情況，虛擬內(nèi)存調(diào)度效率低、頻繁調(diào)入、調(diào)出，數(shù)據(jù)移動(dòng)過(guò)多等，會(huì)導(dǎo)致這類大數(shù)據(jù)處理在數(shù)據(jù)量很大的情況下，速度非常慢，甚至無(wú)法處理。

發(fā)明內(nèi)容

本發(fā)明的目的在于為解決上述問題，提供一種大數(shù)據(jù)處理中的虛擬內(nèi)存管理方法及其裝置，以優(yōu)化大數(shù)據(jù)處理中虛擬內(nèi)存的管理，減小虛擬內(nèi)存調(diào)度中的顛簸(Thrashing)現(xiàn)象，加強(qiáng)虛擬內(nèi)存調(diào)度準(zhǔn)確性、預(yù)見性，從而提升系統(tǒng)性能。

本發(fā)明虛擬內(nèi)存管理方法的特征在于其中的虛擬內(nèi)存調(diào)度管理至少包括：

1、內(nèi)存分配單元管理：基本處理和管理的內(nèi)存操作以內(nèi)存分配單元為單位，內(nèi)存分配單元采用大小配對(duì)分配方法；大內(nèi)存分配時(shí)，安排一個(gè)分配單元，分配單元大小mUnitSize＝申請(qǐng)大小RequestSize×125％；前段BigMem區(qū)分配大數(shù)據(jù)，后段LitMem區(qū)分配小數(shù)據(jù)；小內(nèi)存分配時(shí)，優(yōu)先在已安排的分配單元中找LitMem空閑區(qū)，若找到分配單元向后對(duì)齊，若未找到安排分配到小內(nèi)存分配區(qū)。

2、內(nèi)存分配單元訪問關(guān)聯(lián)綜合指數(shù)：反映內(nèi)存分配單元優(yōu)先調(diào)出到虛擬內(nèi)存的指標(biāo)，第n個(gè)分配單元訪問關(guān)聯(lián)綜合指數(shù)：Xn＝(當(dāng)前時(shí)間-最后一次訪問時(shí)間)×Fa×Fm/Fn²，其中時(shí)間單位是毫秒，F(xiàn)a為內(nèi)存分配單元平均訪問頻次，F(xiàn)m為內(nèi)存分配單元最大訪問頻次,Fn為第n個(gè)分配單元訪問頻次；當(dāng)Xn>Xa時(shí)，第n個(gè)內(nèi)存分配單元可以調(diào)出到虛擬內(nèi)存，其中Xa為訪問關(guān)聯(lián)綜合指數(shù)平均值。

3、虛擬內(nèi)存調(diào)度匹配置換：

(1)虛擬內(nèi)存調(diào)度僅調(diào)入或調(diào)出內(nèi)存分配單元中較大的內(nèi)存塊，以減少調(diào)度執(zhí)行次數(shù)；