[發明專利]云服務中基于數據字典和相鄰存儲的關聯事件追溯方法

在審

• 申請號: 202211380424.6
• 申請日: 2022-11-04
• 公開（公告）號: CN115757021A
• 公開（公告）日: 2023-03-07
• 發明（設計）人: 葉訢
• 申請（專利權）人: 葉訢
• 主分類號: G06F11/30
• 分類號: G06F11/30
• 代理公司: 上海創開專利代理事務所(普通合伙) 31374
• 代理人: 吳海燕

本發明公開了云服務中基于數據字典和相鄰存儲的關聯事件追溯方法，涉及計算機云服務技術領域。本發明包括數據采集器采集追溯事件信息；將追溯事件信息數據，通過網絡傳輸到后臺服務器中央追溯處理應用；追溯處理應用對追溯事件信息數據進行過濾、清洗、隱私處理，聽取接收追溯事件信息，寫入至微存貯文件中；追溯處理應用迅速建立初始的數據字典，可更高效的更新專有單詞；獲取數據或事件，并通過圖表的形式進行交互，將關聯性展示出來。本發明節省了重復字段值，減少了空間浪費，并且在進行全文檢索等操作時，能夠對減小對內存造成的壓力，降低了資源的消耗，提高了用戶體驗，能夠迅速定位追溯相關聯的數據，提高了數據安全性。

技術領域

本發明屬于計算機云服務技術領域，特別是涉及云服務中基于數據字典和相鄰存儲的關聯事件追溯方法、存儲該方法的存儲介質以及用于運行追溯處理應用的設備，且該設備的處理器中存儲有該方法的計算機程序。

背景技術

在云服務中，有大量的軟件組件在協同運作，一個觸發事件會遍歷相關的一個或多個組件。比如一個網頁請求的處理，最終會由多個組件共同完成處理，這個請求在這些組件中產生的事件信息，往往會帶有一個同一的標識好，稱為追溯標識(英文稱為Trace ID)，所有的有同一個追溯標識的不同事件信息是有關聯的，這些事件信息往往存在本地的包括但不限于日志文件等存儲形式和系統中。這些事件信息可以是記錄運行的狀態信息，或是用戶行為信息，而且分散在眾多的軟件組件中。這些軟件組件可以運行在包括但不限于容器、虛擬機和物理機上。追溯事件由客戶端通過網絡發送至后臺，在聚集后往往存儲于數據庫當中，數據庫可以是關系型也可以是非關系型。在數據庫中的追溯信息往往都是分散開的，和一般的記錄一樣的處理，并無優化處理。

現有的云服務中，對于不同事件信息，并沒有實現追溯，對應的同一個追溯ID會出現在所有的記錄中，造成空間的浪費，特別是在大數據的時代，一般的應用即會產生大量的追溯，并且對應的追溯的文本信息也往往是會有重復的，在數據庫中存在大量的重復存儲，盡管通用的數據庫軟件可能已對文本進行了壓縮，但是同樣的文本仍被反復壓縮成同樣的信息存儲，這樣重復的信息依然造成了空間的浪費。同時，當用戶進行如全文檢索等操作時，這些很多的記錄會對內存造成壓力，導致搜索慢，資源消耗過大，并且最終帶來的是用戶體驗差，計算資源的支付費用高，系統運營效率低下。本發明可很大程度改進這些不足之處，迅速定位追溯關聯數據，最終提高系統運營效率，為客戶帶來更多的收益。

發明內容

本發明提供了云服務中基于數據字典和相鄰存儲的關聯事件追溯方法，解決了以上問題。

為解決上述技術問題，本發明是通過以下技術方案實現的：

本發明的云服務中基于數據字典和相鄰存儲的關聯事件追溯方法，包括如下步驟：

S1、數據采集器采集用戶運行系統上的各個軟件組件的追溯事件信息，所述追溯事件信息包括從日志文件中讀取，或內存、硬盤的存儲設備中獲取，并做對應的追溯事件信息數據處理，包括清洗；所述追溯事件信息指將同一個追溯標識的不同信息，按追溯標識聚集存儲在一起的數據信息；

S2、數據采集器采集后將原始追溯事件信息數據或預處理后的追溯事件信息數據，通過網絡傳輸到后臺服務器中央追溯處理應用；

S3、追溯處理應用對所述追溯事件信息數據進行過濾、清洗、隱私處理，聽取接收追溯事件信息，并根據追溯標識分配新的微存儲塊，寫入至相應的微存貯文件中，對新的數據源集建立新的數據字典；若是已存在的數據源集，但發現了新的專有單詞，則將其加入數據字典并自動更新索引；

S4、用戶選擇上傳已準備好的原始模板數據文件，追溯處理應用對其進行掃描和分析，迅速建立初始的數據字典，可更高效的更新后面加入的專有單詞。此步驟是可選步驟，是對后臺數據字典建立的一個優化處理；