[發明專利]一種動態切換數據流的方法、系統、介質及終端

有效

• 申請號: 202110924619.1
• 申請日: 2021-08-12
• 公開（公告）號: CN113608896B
• 公開（公告）日: 2023-09-08
• 發明（設計）人: 魏程琛;賀寧
• 申請（專利權）人: 重慶紫光華山智安科技有限公司
• 主分類號: G06F9/54
• 分類號: G06F9/54;G06F9/455
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 李鐵

1.一種動態切換數據流的方法，其特征在于，包括：

監控數據服務狀態，所述數據服務包括數據消費服務和數據生產服務；

當所述數據消費服務啟動時，若數據完全被消費，則進行實時處理，否則進行異步處理；

當所述數據生產服務啟動時，通過調用數據消費服務數據接入接口確認，使所述數據消費服務正常運行，并根據中間件中狀態寫入主題的偏移量的變化，改變數據生產方式；

所述監控數據服務狀態包括：獲取容器的資源情況、接口的隊列閾值、中間件中數據寫入主題的偏移量，以及中間件中狀態寫入主題的偏移量；如所述中間件中數據寫入主題的偏移量為最新，則判定數據完全被消費；

所述通過調用數據消費服務數據接入接口確認，使所述數據消費服務正常運行之后包括：

若所述中間件中狀態寫入主題的偏移量為最新，

則調用再平衡接口，消費最后一條數據作為數據處理依據；

否則，則調用數據消費服務接入查詢接口確認后，再以實際消費的最新數據進行處理；

在判斷所述中間件中狀態寫入主題的偏移量為最新之前，包括：

如果調用接入接口不滿足正常處理請求，則直接進行數據的異步生產，將數據寫入中間件的數據寫入主題中；

如果調用接入接口滿足正常處理請求，則判斷所述中間件中狀態寫入主題的偏移量是否為最新；

如果中間件中狀態寫入主題中無數據，則進行數據的同步生產；

如果中間件中狀態寫入主題中有數據，且所述中間件中狀態寫入主題的偏移量為最新，則調用所述再平衡接口，重新消費狀態寫入主題的最后一條數據，作為數據生產的依據；

如果中間件中狀態寫入主題中有數據，且所述中間件中狀態寫入主題的偏移量不為最新，則消費所有的數據，并以最后一條數據的生產方式作為數據生產方式。

2.根據權利要求1所述的動態切換數據流的方法，其特征在于，當數據服務異常重啟時，同時重啟所述數據消費服務和數據生產服務，若重啟后所述數據消費服務異常，則將數據發送至中間件。

3.根據權利要求2所述的動態切換數據流的方法，其特征在于，如存在未消費完成的數據，則通過將主題中用于標志是否實時處理的標志參數賦值為假，并將已賦假值的標志參數按預設狀態寫入主題寫入中間件，并進行數據的異步處理；

如不存在未消費完成的數據，

若資源占用率大于預設的閾值，則將所述標志參數賦值為假；

若資源占用率小于等于所述閾值，則將所述標志參數賦值為真；

在更新所述標志參數時，通過將標志參數已賦值的狀態寫入主題，寫入中間件，通知數據生產服務。

4.根據權利要求2所述的動態切換數據流的方法，其特征在于，

當發生服務重啟時，以服務啟動的策略進行數據生產；

當數據消費服務數據接入異常時，則數據生產服務切換為異步生產，將數據寫入數據庫中，如中間件中狀態寫入主題中的對應的消費者狀態數據不變，則周期性進行實時嘗試，直至嘗試成功。