[發明專利]數據讀取方法、系統、設備及介質

有效

• 申請號: 202011127396.8
• 申請日: 2020-10-20
• 公開（公告）號: CN112199048B
• 公開（公告）日: 2021-07-27
• 發明（設計）人: 賀寧;魏程琛;雷強
• 申請（專利權）人: 重慶紫光華山智安科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F16/2453;G06F16/2455;G06F16/2458
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 代玲

本申請提供一種數據讀取方法、系統、設備及介質，該方法包括：獲取數據并利用微服務將數據存儲到本地磁盤與ceph共享盤，所述ceph共享盤利用分布式文件系統存儲全量數據，本地磁盤存儲部分數據由對應的微服務獨享；當微服務接收到查詢請求時，判斷每個pod的服務狀態是否正常，當pod的服務狀態正常時，分發查詢請求到服務狀態正常的Pod查詢本地磁盤，匯總排序得到查詢結果；當pod的服務狀態異常時，查詢ceph共享盤所對應服務狀態異常pod相應的分區數據，匯總排序得到查詢結果。通過將ceph共享盤與本地磁盤混合使用，提高系統的穩定性；本地磁盤的性能由單一微服務獨享，提升數據讀取效率；通過每個pod查詢部分數據替代查詢全部數據，化整為零，提供整體查詢速度。

技術領域

本申請涉及數據處理技術領域，特別是涉及一種數據讀取方法、系統、設備及介質。

背景技術

隨著存儲技術的發展，分布式系統得到了廣泛的應用，分布式系統包括用于存儲相同數據的主節點和多個從節點，終端可以通過主節點將數據寫入分布式系統，以及讀取任意一個節點中存儲的數據。

然而，分布式微云服務需要共享特征數據，現有技術中大多采用共享存儲ceph來存儲特征數據，其具有可靠性高、所有服務、所有節點都可訪問優點。但在實際使用過程中，隨著數據持續接入形成海量數據，會造成數據冗余的現象；同時，隨著節點之間磁盤采用不同文件讀取系統，導致數據撈取速度變得非常緩慢。

發明內容

鑒于以上所述現有技術的缺點，本申請的目的在于提供一種數據讀取方法、系統、設備及介質，用于解決現有技術中微云數據讀取效率不高的問題。

為實現上述目的及其他相關目的，本申請提供一種數據讀取方法，包括：

步驟S1，獲取數據并利用微服務將所述數據存儲到本地磁盤與ceph共享盤，其中，所述ceph共享盤利用分布式文件系統存儲全量數據，所述本地磁盤存儲部分數據由對應的微服務獨享；

步驟S2，當微服務接收到查詢請求時，判斷每個pod的服務狀態是否正常，當所述pod的服務狀態正常時，分發所述查詢請求到服務狀態正常的Pod查詢本地磁盤，匯總排序得到查詢結果；當所述pod的服務狀態異常時，查詢ceph共享盤所對應服務狀態異常pod相應的分區數據，匯總排序得到查詢結果。

在本申請的一目的在于提供一種數據讀取系統，包括：

數據存儲模塊，用于獲取數據并利用微服務將所述數據存儲到本地磁盤與ceph共享盤，其中，所述ceph共享盤利用分布式文件系統存儲全量數據，所述本地磁盤存儲部分數據由對應的微服務獨享；

查詢請求模塊，用于當微服務接收到查詢請求時，判斷每個pod的服務狀態是否正常，當所述pod的服務狀態正常時，分發所述查詢請求到服務狀態正常的Pod查詢本地磁盤，匯總排序得到查詢結果；當所述pod的服務狀態異常時，查詢ceph共享盤所對應服務狀態異常pod相應的分區數據，匯總排序得到查詢結果。

在本申請的另一目的在于提供一種電子設備，包括：

一個或多個處理裝置；

存儲器，用于存儲一個或多個程序；當所述一個或多個程序被所述一個或多個處理裝置執行，使得所述一個或多個處理裝置執行所述數據讀取方法。

在本申請的還一目的在于提供一種計算機可讀存儲介質，其上存儲有計算機程序，所述計算機程序用于使所述計算機執行所述數據讀取方法。

如上所述，本申請的數據讀取方法、系統、設備及介質，具有以下有益效果：

本申請通過將ceph共享盤與本地磁盤混合使用，提高系統的穩定性；其中，本地磁盤的性能由單一微服務獨享，提升數據讀取效率；查詢時，通過每個pod查詢部分數據替代查詢全部數據，化整為零，提供整體查詢速度。

附圖說明