[發明專利]存儲系統中的數據分析

有效

• 申請號: 201610459374.9
• 申請日: 2016-06-22
• 公開（公告）號: CN107528871B
• 公開（公告）日: 2020-05-26
• 發明（設計）人: 鄒勇;楊祥清;呂滿;林偉
• 申請（專利權）人: 伊姆西IP控股有限責任公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 王茂華

1.一種在存儲系統中分析數據的方法，包括：

由運行在所述存儲系統的第一主機上的存儲虛擬機VM執行涉及所述存儲系統的第一存儲設備的數據存儲作業；

在執行所述數據存儲作業之后，通過以下來編排關于所述第一存儲設備中存儲的目標數據的數據分析作業：

由所述存儲系統的調度器向運行在所述存儲系統的第二主機上的數據分析VM發出數據分析請求；

響應于所述數據分析VM接收到所述數據分析請求，從運行在所述第二主機上的數據獲取VM獲取指示與所述目標數據相關的信息的元數據，所述信息包括所述目標數據的位置；以及

使用所述元數據，從所述數據分析VM向所述存儲VM發出針對所述目標數據的數據請求；

由所述存儲VM從所述存儲系統的所述第一存儲設備獲取用于所述數據分析作業的所述目標數據；

將所獲取的所述目標數據存儲到所述存儲系統中被指派用于數據分析的第二存儲設備，所述第二存儲設備對于所述第二主機是本地的；以及

由所述數據分析VM執行所述數據分析作業，包括所述數據分析VM從所述第二存儲設備訪問所述目標數據。

2.根據權利要求1所述的方法，其中執行所述數據分析作業包括：

在所述存儲系統中創建用于數據分析的多個虛擬機；以及

在所述多個虛擬機上調度所述數據分析作業。

3.根據權利要求2所述的方法，進一步包括：

將所述第二存儲設備虛擬化為多個虛擬存儲設備；以及

將所述多個虛擬存儲設備分配給所述多個虛擬機。

4.根據權利要求3所述的方法，其中在所述多個虛擬機上調度所述數據分析作業包括：

將所述數據分析作業中的第一任務調度到所述多個虛擬機中的第一虛擬機，所述第一虛擬機與所述多個虛擬存儲設備中存儲所述目標數據的虛擬存儲設備相關聯，所述第一任務直接分析所述目標數據；以及

將所述數據分析作業中的第二任務調度到所述多個虛擬機中的第二虛擬機，所述第二任務分析由所述第一任務產生的中間結果。

5.根據權利要求1所述的方法，其中所述第二存儲設備包括所述存儲系統的高速緩存設備，所述方法進一步包括：

響應于所述數據分析VM接收到所述數據分析請求，向所述高速緩存設備發送添加命令以使得所述高速緩存設備被指派用于數據分析；以及

響應于所述數據分析作業的完成，向所述高速緩存設備發送移除命令以停止指派所述高速緩存設備用于數據分析。

6.根據權利要求1所述的方法，其中所述數據分析作業包括第一任務和第二任務，所述第二任務基于所述第一任務產生的中間結果，所述方法進一步包括：

在執行所述數據分析作業期間，將所述中間結果存儲在所述存儲系統中的高速緩存設備中。

7.根據權利要求1所述的方法，還包括所述調度響應于檢測到數據存儲作業的完成而發出所述數據分析請求。

8.根據權利要求1至7中任一項所述的方法，進一步包括：

將所述數據分析作業的執行結果存儲至所述第一存儲設備中。

9.根據權利要求1至7中任一項所述的方法，其中所述數據分析作業包括MapReduce作業。

10.根據權利要求1至7中任一項所述的方法，其中：

所述存儲系統是備份系統；

所述數據存儲作業是被配置為以備份時間段被執行的備份作業；并且

發出所述數據分析請求是響應于所述調度器檢測到所述備份時間段過期而被執行的。

11.根據權利要求1至7中任一項所述的方法，其中所述數據存儲作業包括以下之一：

將數據保存到所述第一存儲設備；

從所述第一存儲設備的數據復制；

關于所述第一存儲設備的數據去重復；以及

從所述第一存儲設備的數據恢復。