[發明專利]充分利用并行處理器用于數據處理

有效

• 申請號: 201380007148.1
• 申請日: 2013-01-17
• 公開（公告）號: CN104081378A
• 公開（公告）日: 2014-10-01
• 發明（設計）人: M·赫希;S·T·克萊因;Y·托夫
• 申請（專利權）人: 國際商業機器公司
• 主分類號: G06F15/16
• 分類號: G06F15/16
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 酆迅;陳穎

技術領域

本發明總體涉及計算機，并且更具體地涉及用于充分利用并行處理器以用于在計算環境中的數據處理的計算機。

背景技術

在如今的社會中，計算機系統司空見慣。可以在工作地、在家里或者在學校找到計算機系統。計算機系統可以包括用于處理和存儲數據的數據存儲系統或者盤存儲系統。每天需要處理大量數據，并且當前趨勢表明這些數量將在可預見的將來繼續不斷增加。一種用于緩解該問題的高效方式是通過使用去重。在去重系統下面的思想是通過對重復的數據進行定位并且僅存儲它的第一出現來利用反復復制和轉發可用數據的大量部分而無任何改變這樣的事實。用指向存儲的出現的指針替換后續部分，如果數據確實重復則這顯著減少存儲要求。處理很大量信息是待解決的關鍵問題，因此存在對例如通過使用并行工作的處理器的集合來改善處理的需要。在某些應用中，可以指派處理器集合以在若干級或者層中執行某個任務，并且可以用分級方式將任務反復拆分成子任務。系統的性能最終依賴于如何確切地將處理器分配給它們的子任務的布局，因此存在對于用于分級并行計算的改進的處理器布局的需求。

因此，在本領域中存在對解決前述問題的需求。

發明內容

如提到的那樣，處理在存儲系統中出現的很大量信息和數據是待解決的關鍵問題。例如在數據去重(數據去重指減少和/或者消除冗余數據)中，使用分組塊方法將數據對象——該數據對象可以是文件、數據流或者某個其它形式的數據——分解成稱為組塊的一個或者多個部分。在數據去重過程中，數據的重復副本被減少或者消除，從而相應地留下最少量的冗余副本或者數據的單個副本。使用去重過程提供諸多益處、比如減少所需存儲容量和增加網絡帶寬。由于這些和其它益處，去重在近年來已經在計算存儲系統中作為高度地重要的技術領域而顯現。在另一存儲系統中，可以存在并發寫入無關數據的多個事務。

因而并且鑒于前文，提供用于在多個初始化步驟之后充分利用并行處理器集合以對數據組塊序列執行任務的各種示例方法、系統和計算機程序產品實施例，其中數據組塊中的每個數據組塊在若干時間步驟中且被多個層處理，而多個層在時間步驟中的每個時間步驟被多個處理器中的至少一個處理器處置。在一個實施例中，僅舉例而言，將并行處理器集合根據并行處理器的集合的索引分割成不相交子集，從而不相交子集中的每個不相交子集的大小對應于被指派為處理該層之一的數據組塊的處理器的數目。根據分割向在數據組塊中的不同數據組塊中的不同層指派處理器中的每個處理器，從而處理器中的每個處理器忙碌、并且數據組塊中的每個數據組塊在數目等同于多個層的數目的時間步驟內被完全處理。設計從并行處理器的集合在時間步驟之一的索引到并行處理器的集合在后繼時間步驟的索引的轉換函數。轉換函數與指派相一致。附加系統和計算機程序產品實施例被公開并且提供有關優點。

從第一方面來看，本發明提供一種用于在多個初始化步驟之后充分利用多個并行處理器的集合、以在計算環境中由處理器設備對數據組塊序列執行任務的方法，其中數據組塊中的每個數據組塊在若干時間步驟中且被多個層處理，多個層在時間步驟中的每個時間步驟被多個處理器中的至少一個處理器處置，該方法包括：將多個并行處理器的集合根據多個并行處理器的集合的索引分割成不相交子集，從而不相交子集中的每個不相交子集的大小對應于被指派為在多個層之一處理數據組塊的多個處理器的數目；根據分割向在數據組塊中的不同數據組塊中的多個層中的不同層指派多個處理器中的每個處理器，從而多個處理器中的每個處理器忙碌、并且數據組塊中的每個數據組塊在數目等同于多個層的數目的時間步驟內被完全處理；以及設計從多個并行處理器的集合在時間步驟之一的索引到多個并行處理器的集合在后繼時間步驟的索引的轉換函數，其中轉換函數與指派相一致。

從又一方面來看，本發明提供一種用于在多個初始化步驟之后充分利用多個并行處理器的集合、以在計算環境中對數據組塊序列執行任務的系統，其中數據組塊中的每個數據組塊在若干時間步驟中且被多個層處理，多個層在時間步驟中的每個時間步驟被多個處理器中的至少一個處理器處置，該系統包括：在計算環境中操作的處理器設備，其中處理器設備適于執行用于執行本發明的步驟的方法。