[發明專利]一種跨數據中心的數據存儲和查詢方法與系統

有效

• 申請號: 202110604500.6
• 申請日: 2021-05-31
• 公開（公告）號: CN113032338B
• 公開（公告）日: 2021-09-07
• 發明（設計）人: 胡夢宇;李大海
• 申請（專利權）人: 智者四海（北京）技術有限公司
• 主分類號: G06F16/14
• 分類號: G06F16/14;G06F16/172;G06F16/178;G06F16/182;H04L29/08
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 何明倫

本公開提供了一種跨數據中心的數據存儲和查詢方法和系統，其中方法包括：接收文件查詢請求，檢查第二數據中心是否緩存了被查詢的文件，所述文件存儲在第一數據中心；針對第二數據中心緩存了所述文件的情況，校驗第一數據中心的主文件系統與第二數據中心的緩存文件系統中存儲的所述文件的一致性；如果一致性檢查通過，則直接返回所述文件；如果未通過一致性檢查或未查詢到所述文件，則生成一個緩存任務，并向第二數據中心的任務隊列提交該緩存任務；所述任務隊列接收到所述緩存任務后，會根據隊列中的排隊情況安排運行所述緩存任務；所述緩存任務運行完成后，返回緩存文件系統中的所述文件。

技術領域

本公開涉及數據存儲、數據查詢、讀取技術領域，特別涉及一種跨數據中心的數據存儲和查詢方法、系統、電子設備及計算機可讀存儲介質。

背景技術

數據，是大數據時代最重要的財產，數據的存儲和使用，也是各大公司所面臨的最重要的問題。面對每日上 TB甚至上PB的數據的存儲，各大公司擁有著自己的解決方案，如亞馬遜的S3存儲系統，谷歌的GFS，開源社區的HDFS以及各大云廠商的對象存儲等。面對種類繁多的文件系統，無法做到以一種統一的方法去訪問，用戶必須針對不同的文件系統去學習其使用方式，學習成本頗高。在數據的使用時，往往存在著跨多個數據中心讀取數據的情況，受限于專線帶寬及網絡穩定性，用戶的體驗往往及其糟糕。

因此，急需一種跨數據中心的數據存儲和查詢方法，可以對接多種文件系統，保證同一文件在所有數據中心的一致性，在用戶層面，可以用一套代碼適用所有的文件系統，在開發者層面，只需維護一套主文件系統，即可實現跨數據中心共享數據。

發明內容

有鑒于此，本公開實施例的目的在于提供一種跨數據中心的數據存儲和查詢方法，可以對接多種文件系統，保證同一文件在所有數據中心的一致性，避免用戶跨多個數據中心讀取數據的情況，也避免了受限于專線帶寬及網絡穩定性，用戶的體驗糟糕的情況。同時，對于開發者來說，由于設置了文件緩存層，開發者無需在多個數據中心搭建多套文件系統，而是只需維護一套主文件系統，即可實現跨數據中心共享數據。

根據本公開的第一方面，提供了一種跨數據中心的數據存儲和查詢方法，包括：

接收文件查詢請求，檢查第二數據中心是否緩存了被查詢的文件，所述文件存儲在第一數據中心；

針對第二數據中心緩存了所述文件的情況，校驗第一數據中心的主文件系統與第二數據中心的緩存文件系統中存儲的所述文件的一致性；

如果一致性檢查通過，則直接返回所述文件；

如果未通過一致性檢查或未查詢到所述文件，則生成一個緩存任務，并向第二數據中心的任務隊列提交該緩存任務；

所述任務隊列接收到所述緩存任務后，會根據隊列中的排隊情況安排運行所述緩存任務；

在運行緩存任務期間，向任務隊列輪詢任務狀態，若有異常則重新提交緩存任務；

所述緩存任務運行完成后，返回緩存文件系統中的所述文件。

在一個可能的實施例中，其中，所述文件查詢請求來自一個或多個客戶端，其中，第二數據中心的數據接口自動適配和兼容所述任一客戶端發送的文件查詢請求的代碼。

在一個可能的實施例中，所述運行緩存任務的方法包括：通過數據中心之間的專線拷貝所述主文件系統的文件到所述緩存文件系統中；如果所述專線空閑，則會開啟多線程拷貝所述主文件系統的文件到所述緩存文件系統中；如果所述專線繁忙，則會單線程拷貝所述主文件系統的文件到所述緩存文件系統中；如果專線爆滿，則會等待直到專線空閑。

在一個可能的實施例中，其中，所述運行緩存任務只包括對文件內容的緩存，主文件系統與緩存文件系統中的對應文件的文件視圖一致。

在一個可能的實施例中，所述一致性檢查包括：文件大小、文件修改時間、文件摘要。