[發明專利]元數據的處理方法，代理、轉發設備，服務器及計算系統

無效

• 申請號: 201210381995.1
• 申請日: 2012-10-10
• 公開（公告）號: CN102929958A
• 公開（公告）日: 2013-02-13
• 發明（設計）人: 陳起;陳左寧;蔣金虎;王紅艷;王晞陽;魏巍;余婷;何曉斌;李希;鄭翔;楊京
• 申請（專利權）人: 無錫江南計算技術研究所
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 駱蘇華

技術領域

本發明涉及高性能計算技術領域，具體涉及元數據的處理方法、元數據代理設備、IO轉發設備、元數據服務器及高性能計算系統。

背景技術

在高性能計算領域，高性能計算機的計算性能得到飛速的發展，而存儲性能卻沒有得到相應的發展。針對計算能力與存儲能力的不平衡，現有技術中主要有兩種方案來提高元數據的存儲能力。

第一種方案是:元數據集群方案，使用哈希或子樹分割的方式將元數據分散的存儲在多個不同的服務器上，利用服務器的并發能力提高元數據的存儲能力，但服務器的個數有限，擴展的規模有限，而且元數據在多個服務器上的分布相對固定，導致元數據的靈活性降低。

第二種方案是：構建多個存儲系統，這樣將元數據的請求分布到多個不同的存儲系統上以提高元數據的存儲能力。但各個存儲系統間隔離，數據交互困難；元數據擴展能力有限，導致元數據的靈活性降低。

發明內容

本發明實施例提供一種元數據的處理方法，可以提高元數據處理的靈活性。

本發明實施例第一方面提供一種元數據的處理方法，包括：

從元數據服務器獲取多個文件的元數據信息；

接收輸入輸出IO轉發設備發送的元數據請求，所述元數據請求中攜帶要執行操作的文件路徑信息；

根據所述要執行操作的文件路徑信息查找對應文件的元數據信息中的數據對象標識；

當查找到所述數據對象標識時，向所述IO轉發設備返回所述數據對象標識，以使所述IO轉發設備根據所述數據對象標識查找數據存儲設備中的數據對象，進而使計算節點設備完成對所述數據對象的文件數據操作。

本發明實施例第二方面提供一種元數據的處理方法，包括：

從元數據服務器獲取存儲有要執行操作所需要的元數據信息的元數據代理設備的地址信息；

根據所述獲取的地址信息，向所述元數據代理設備發送元數據請求，所述元數據請求中攜帶要執行操作的文件路徑信息，以使所述元數據代理設備根據所述要執行操作的文件路徑信息查找對應文件的元數據信息中的數據對象標識；

獲取所述元數據代理設備發送的數據對象標識；

根據所述數據對象標識查找數據存儲設備中的數據對象，以使計算節點設備完成對所述數據對象的文件數據操作。

本發明實施例第三方面提供一種元數據的處理方法，包括：

將存儲的部分文件的元數據信息分別遷移到不同的元數據代理設備上，并將每個元數據代理設備的地址信息與所述每個元數據代理設備上存儲的文件路徑信息對應存儲；

向IO轉發設備發送存儲有要執行操作所需要的元數據信息的元數據代理設備的地址信息，以使所述IO轉發設備根據所述地址信息，從所述元數據代理設備獲取數據對象標識，根據所述數據對象標識查找數據存儲設備中的數據對象，以使計算節點設備完成對所述數據對象的文件數據操作。

本發明實施例第四方面提供一種元數據代理設備，包括：

第一獲取單元，用于從元數據服務器獲取多個文件的元數據信息；

第一接收單元，用于接收IO轉發設備發送的元數據請求，所述元數據請求中攜帶要執行操作的文件路徑信息；

第一查找單元，用于根據所述第一接收單元接收到的所述要執行操作的文件路徑信息查找所述第一獲取單元獲取到的對應文件的元數據信息中的數據對象標識；

第一發送單元，用于當查找到所述數據對象標識時，向所述IO轉發設備返回所述數據對象標識，以使所述IO轉發設備根據所述數據對象標識查找數據存儲設備中的數據對象，進而使計算節點設備完成對所述數據對象的文件數據操作。

本發明實施例第五方面提供一種IO轉發設備，包括：

第二獲取單元，用于從元數據服務器獲取存儲有要執行操作所需要的元數據信息的元數據代理設備的地址信息；

第二發送單元，用于根據所述第二獲取單元獲取的地址信息，向所述元數據代理設備發送元數據請求，所述元數據請求中攜帶要執行操作的文件路徑信息，以使所述元數據代理設備根據所述要執行操作的文件路徑信息查找對應文件的元數據信息中的數據對象標識；

所述第二獲取單元，還用于獲取所述元數據代理設備發送的數據對象標識；

第二查找單元，用于根據所述第二獲取單元獲取的數據對象標識查找數據存儲設備中的數據對象，以使計算節點設備完成對所述數據對象的文件數據操作。

本發明實施例第六方面提供一種元數據服務器，包括：