[發明專利]數據讀取方法、系統、設備及介質

有效

• 申請號: 202011127396.8
• 申請日: 2020-10-20
• 公開（公告）號: CN112199048B
• 公開（公告）日: 2021-07-27
• 發明（設計）人: 賀寧;魏程琛;雷強
• 申請（專利權）人: 重慶紫光華山智安科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F16/2453;G06F16/2455;G06F16/2458
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 代玲

1.一種數據讀取方法，其特征在于，包括：

步驟S1，獲取數據并利用微服務將所述數據存儲到本地磁盤與ceph共享盤，其中，所述ceph共享盤利用分布式文件系統存儲全量數據，所述本地磁盤存儲部分數據由對應的微服務獨享；

步驟S2，當微服務接收到查詢請求時，判斷每個pod的服務狀態是否正常，當所述pod的服務狀態正常時，分發所述查詢請求到服務狀態正常的Pod查詢本地磁盤，匯總排序得到查詢結果；當所述pod的服務狀態異常時，查詢ceph共享盤所對應服務狀態異常pod相應的分區數據，匯總排序得到查詢結果。

2.根據權利要求1所述的數據讀取方法，其特征在于，還包括：監聽后臺服務的時間是否達到預設時間，當后臺服務的時間達到預設時間時，檢測微服務所對應的本地磁盤與ceph共享盤所存儲的文件大小是否一致；當檢測到本地磁盤與ceph共享盤所存儲的文件大小不一致時，將ceph共享盤所對應的分區數據同步到本地磁盤；當檢測到本地磁盤與ceph共享盤所存儲的文件大小一致時，則不處理。

3.根據權利要求1所述的數據讀取方法，其特征在于，所述步驟S1中還包括：

新建中間件kafka中對應的主題時，將每個主題分為60個分區；

啟動微服務，調用微云接口確認該微服務預計啟動的pods個數，每個微服務別名為pod0到pod(N-1),并計算每個pods對應的分區數量及編號，其中，N為大于1的自然數；

判斷微服務所對應的本地磁盤內是否存在空余磁盤，如果存在空余磁盤時，則格式化該空余磁盤將pod掛載對應磁盤內，并根據所述ceph共享盤存儲的數據同步到該磁盤；如果不存在空余磁盤時，則調用微云接口掛掉該pod，使其二次調度漂移到其他的服務器上；

解析微服務所對應的數據得到結構化數據與特征數據，所述結構化數據與特征數據的存儲位置取決于中間件kafka的自身負載，所述中間件kafka存儲結束后更新對應的分區的偏移量；

監聽所述中間件kafka中對應的主題中的偏移量，當監測到所述偏移量不為最新偏移量時，根據內存的存儲時間或存儲量持久化處理數據，將所述數據存儲到本地磁盤與ceph共享盤；當監測到所述偏移量為最新偏移量時，則不處理。

4.根據權利要求1所述的數據讀取方法，其特征在于，還包括：檢測到服務器或微服務異常掛掉且發生漂移時，創建pods并進行初始化，獲取配置文件中需啟動的pods數量；計算每個pod對應的分區并存儲到ceph共享盤；判斷當前服務器是否存在空余磁盤，如果當前服務器存在空余磁盤時，則將pod掛載到相應的磁盤；如果當前服務器不存在空余磁盤時，根據當前服務器掛掉的pod漂移向其他的節點實現pod掛載。

5.根據權利要求4所述的數據讀取方法，其特征在于，所述將pod掛載到相應的磁盤的步驟，包括：

格式化當前所述空余磁盤，根據目錄使用mount方法掛載到所述空余磁盤，根據pod與分區的對應關系，從ceph共享盤中獲取相對應的數據，完成同步，實現服務初始化和狀態更新。

6.根據權利要求4所述的數據讀取方法，其特征在于，所述根據當前服務器掛掉的pod漂移向其他的節點實現pod掛載的步驟，包括：

檢測ceph共享盤是否存在失敗信息文件；如果不存在失敗信息文件時，則調用微云接口獲取微云節點數量與對應IP以及狀態異常的IP，將狀態異常的IP記錄到異常IP列表內，將節點數量加一寫入到創建的失敗信息文件中，調用微云接口刪除該服務使其漂移向其他的節點；如果存在失敗信息文件時，則獲取當前服務器IP并讀取所述失敗信息文件，判斷所述當前服務器IP是否存在于所述失敗信息文件內，如果所述當前服務器IP存在于所述失敗信息文件內，則再次漂移向其他的節點，且不計數；如果所述當前服務器IP不存在于所述失敗信息文件內，則根據當前微云集群的節點數量利用閑置的空余磁盤再次漂移向其他的節點。