[發(fā)明專利]數(shù)據(jù)集合復用度改變設(shè)備、服務(wù)器和數(shù)據(jù)集合復用度改變方法

在審

• 申請?zhí)枺?/td>: 201480007396.0
• 申請日: 2014-01-27
• 公開（公告）號: CN104969197A
• 公開（公告）日: 2015-10-07
• 發(fā)明（設(shè)計）人: 渡邊岳大
• 申請（專利權(quán)）人: 日本電氣株式會社
• 主分類號: G06F12/00
• 分類號: G06F12/00;G06F9/50
• 代理公司: 中原信達知識產(chǎn)權(quán)代理有限責任公司 11219
• 代理人: 李蘭;孫志湧

技術(shù)領(lǐng)域

本發(fā)明涉及例如在使用信息處理設(shè)備(計算機)的分布式并行處理系統(tǒng)中的數(shù)據(jù)管理技術(shù)。更具體地說，本發(fā)明涉及數(shù)據(jù)集合的復用管理中的復用度(multiplicity)改變技術(shù)。

背景技術(shù)

批處理是用于通過使用諸如服務(wù)器的信息處理設(shè)備在預定定時開始處理并且對給定的輸入數(shù)據(jù)重復執(zhí)行相同的處理從而獲得處理結(jié)果的技術(shù)。近年來，在批處理中，處理對象數(shù)據(jù)量增加，并且需要減少處理時間。使用通過使用多個服務(wù)器(節(jié)點)實現(xiàn)的分布式并行處理的技術(shù)被廣泛地用作用于提高批處理的速度的技術(shù)。在下文中，將參考圖2和圖4來對這樣的分布式并行批處理系統(tǒng)的示例進行說明。

圖2是示出包括作為現(xiàn)有技術(shù)的分布式并行批處理系統(tǒng)的通信環(huán)境的示例的配置圖。圖4是示出作為現(xiàn)有技術(shù)的分布式并行批處理系統(tǒng)中的分布式數(shù)據(jù)存儲中的數(shù)據(jù)布置的示例的圖。圖2和圖4是在根據(jù)本發(fā)明的第二示例性實施例的說明中使用的附圖，但是在該情況下，將使用圖2和圖4來對作為現(xiàn)有技術(shù)的一般分布式并行批處理系統(tǒng)的配置和操作進行說明。

如圖2中所示，分布式并行批處理系統(tǒng)1包括三個節(jié)點20至22、分布式并行批處理服務(wù)器10、主數(shù)據(jù)服務(wù)器100、客戶端500和連接它們的通信網(wǎng)絡(luò)(在下文中簡稱為“網(wǎng)絡(luò)”)1000。

三個節(jié)點20至22可以以并行方式(也可以被表達為“同時方式”，這也適用于下面的說明)在每個節(jié)點中執(zhí)行由分布式并行批處理服務(wù)器10分割的批處理。如圖4中所示，節(jié)點20至22中的每一個包括存儲器40至42和磁盤50至52。

分布式并行批處理服務(wù)器10通過控制三個節(jié)點20至22來執(zhí)行這樣的批處理。

客戶端500請求分布式并行批處理服務(wù)器10來執(zhí)行批處理。

主數(shù)據(jù)服務(wù)器100向分布式并行批處理服務(wù)器10提供主數(shù)據(jù)集合120，主數(shù)據(jù)集合120包括輸入數(shù)據(jù)集合和參考數(shù)據(jù)集合，輸入數(shù)據(jù)集合包括作為批處理中的處理對象的多個輸入數(shù)據(jù)，參考數(shù)據(jù)集合包括在處理期間參考的數(shù)據(jù)組。在數(shù)據(jù)庫110中預先設(shè)置主數(shù)據(jù)集合120。

分布式并行批處理服務(wù)器10、節(jié)點20至22、主數(shù)據(jù)服務(wù)器100和客戶端500是通過程序控制進行操作的一般計算機。

在這種情況下，將對該分布式并行批處理系統(tǒng)中的前提(或這也可以被稱為假設(shè))進行說明。

首先，批處理是指連續(xù)執(zhí)行“工作”，工作中的每一個是最小處理單元。然而，為了簡化說明，在下面的說明中批處理被認為包括單個工作。

隨后，即使在工作處理完成之后，也在節(jié)點20和22的磁盤50至52和存儲器40至42中按原樣保持諸如先前由節(jié)點20至22執(zhí)行的工作所使用的輸入數(shù)據(jù)集合和參考數(shù)據(jù)集合的文件，直到需要刪除該文件。如果有必要，則可以在后續(xù)工作的執(zhí)行中重新使用這些數(shù)據(jù)集合組。這是因為，在分布式并行批處理系統(tǒng)中，可以連續(xù)執(zhí)行使用類似數(shù)據(jù)集合的多個工作。這樣的多個工作的示例包括商品的訂單接收處理、對訂單的訂單簽發(fā)處理、訂購商品的裝運處理等。

作為最后的前提，描述應(yīng)用程序(其為描述工作的處理內(nèi)容的計算機程序)的文件被預先存儲在分布式并行批處理服務(wù)器10的磁盤(未示出)中。

隨后，將對根據(jù)現(xiàn)有技術(shù)的分布式并行批處理系統(tǒng)進行說明。

在圖2中，首先，客戶端500請求分布式并行批處理服務(wù)器10執(zhí)行工作。在工作的執(zhí)行請求中，客戶端500指定作為工作的處理程序的應(yīng)用程序名稱以及執(zhí)行工作所需要的各種定義信息。各種定義信息包括指示工作的處理對象的數(shù)據(jù)的輸入數(shù)據(jù)集合名稱和指示在處理期間參考的數(shù)據(jù)組的參考數(shù)據(jù)集合名稱。例如，輸入數(shù)據(jù)集合是任何給定商店的交易(訂單等)數(shù)據(jù)的聚合。例如，參考數(shù)據(jù)集合是諸如包括關(guān)于每個商品的信息的數(shù)據(jù)或定義一周中的每一天的每個商品的折扣率的數(shù)據(jù)的聚合。

隨后，已經(jīng)接收到工作的執(zhí)行請求的分布式并行批處理服務(wù)器10將在工作的執(zhí)行請求中所指定的輸入數(shù)據(jù)集合分割成與節(jié)點20至22的數(shù)目一樣多的三個輸入數(shù)據(jù)集合A至C。然后，分布式并行批處理服務(wù)器10將所分割的輸入數(shù)據(jù)集合A至C分別指派給三個節(jié)點20至22，作為各個節(jié)點的處理對象。通常，當分割輸入數(shù)據(jù)集合時，分布式并行批處理服務(wù)器10分割輸入數(shù)據(jù)集合，使得各個分割的輸入數(shù)據(jù)集合A到C的處理時間變得盡可能相等。分布式并行批處理服務(wù)器10還基于所讀取的數(shù)據(jù)集合的布置來將所分割的輸入數(shù)據(jù)集合A到C指派給節(jié)點20至22的磁盤50至52和存儲器40至42(圖4)。在這種情況下，分布式并行批處理服務(wù)器10僅選擇保持輸入數(shù)據(jù)集合A至C的處理所需的數(shù)據(jù)集合的節(jié)點，并且指派所分割的輸入數(shù)據(jù)集合A至C。