[發明專利]一種跨數據中心的數據存儲和查詢方法與系統

有效

• 申請號: 202110604500.6
• 申請日: 2021-05-31
• 公開（公告）號: CN113032338B
• 公開（公告）日: 2021-09-07
• 發明（設計）人: 胡夢宇;李大海
• 申請（專利權）人: 智者四海（北京）技術有限公司
• 主分類號: G06F16/14
• 分類號: G06F16/14;G06F16/172;G06F16/178;G06F16/182;H04L29/08
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 何明倫

1.一種跨數據中心的數據存儲和查詢方法，包括：

接收文件查詢請求，檢查第二數據中心是否緩存了被查詢的文件，所述文件存儲在第一數據中心；

針對第二數據中心緩存了所述文件的情況，校驗第一數據中心的主文件系統與第二數據中心的緩存文件系統中存儲的所述文件的一致性；

如果一致性檢查通過，則直接返回所述文件；

如果未通過一致性檢查或未查詢到所述文件，則生成一個緩存任務，并向第二數據中心的任務隊列提交該緩存任務；

所述任務隊列接收到所述緩存任務后，會根據隊列中的排隊情況安排運行所述緩存任務；

在運行緩存任務期間，向任務隊列輪詢任務狀態，若有異常則重新提交緩存任務；

所述緩存任務運行完成后，返回緩存文件系統中的所述文件；

其中，所述文件查詢請求來自一個或多個客戶端，其中，第二數據中心的數據接口自動適配和兼容任一個客戶端發送的文件查詢請求的代碼；所述運行緩存任務只包括對文件內容的緩存，主文件系統與緩存文件系統中的對應文件的文件視圖一致；

與所述一個或多個客戶端對接的數據中心包括對象存儲系統或HDFS文件系統；

所述運行緩存任務的方法包括：通過數據中心之間的專線拷貝所述主文件系統的文件到所述緩存文件系統中；如果所述專線空閑，則會開啟多線程拷貝所述主文件系統的文件到所述緩存文件系統中；如果所述專線繁忙，則會單線程拷貝所述主文件系統的文件到所述緩存文件系統中；如果專線爆滿，則會等待直到專線空閑。

2.如權利要求1所述的方法，所述一致性檢查包括：文件大小、文件修改時間、文件摘要。

3.如權利要求1所述的方法，其中，所述數據接口的安全認證接口包括：HTTPS和BASICAUTH的認證方式，以及AWS簽名算法和KERBEROS算法。

4.一種跨數據中心的數據存儲和查詢系統，包括：

文件請求單元，用于接收文件查詢請求，檢查第二數據中心是否緩存了被查詢的文件，所述文件存儲在第一數據中心；

一致性檢查單元，用于針對第二數據中心緩存了所述文件的情況，校驗第一數據中心的主文件系統與第二數據中心的緩存文件系統中存儲的所述文件的一致性；如果一致性檢查通過，則直接返回所述文件；如果未通過一致性檢查或未查詢到所述文件，則生成一個緩存任務，并向第二數據中心的任務隊列提交該緩存任務；

緩存任務單元，用于所述任務隊列接收到所述緩存任務后，會根據隊列中的排隊情況安排運行所述緩存任務；在運行緩存任務期間，向任務隊列輪詢任務狀態，若有異常則重新提交緩存任務；

文件返回單元，用于所述緩存任務運行完成后，返回緩存文件系統中的所述文件；

其中，所述文件查詢請求來自一個或多個客戶端，其中，第二數據中心的數據接口自動適配和兼容任一個客戶端發送的文件查詢請求的代碼；所述運行緩存任務只包括對文件內容的緩存，主文件系統與緩存文件系統中的對應文件的文件視圖一致；

與所述一個或多個客戶端對接的數據中心包括對象存儲系統或HDFS文件系統；

所述運行緩存任務的方法包括：通過數據中心之間的專線拷貝所述主文件系統的文件到所述緩存文件系統中；如果所述專線空閑，則會開啟多線程拷貝所述主文件系統的文件到所述緩存文件系統中；如果所述專線繁忙，則會單線程拷貝所述主文件系統的文件到所述緩存文件系統中；如果專線爆滿，則會等待直到專線空閑。

5.一種電子設備，包括：

一個或多個處理器；

存儲器，用于存儲一個或多個程序；

其中，當所述一個或多個程序被所述一個或多個處理器執行時，使得所述一個或多個處理器執行如權利要求1至3任一項所述方法。

6.一種計算機可讀存儲介質，其上存儲有可執行指令，所述可執行指令被處理器執行時使處理器執行如權利要求1至3任一項所述方法。