[發明專利]基于數據同步的壓測方法、裝置、計算機設備及存儲介質在審
| 申請號: | 202011504827.8 | 申請日: | 2020-12-18 |
| 公開(公告)號: | CN112631884A | 公開(公告)日: | 2021-04-09 |
| 發明(設計)人: | 丁勇 | 申請(專利權)人: | 平安普惠企業管理有限公司 |
| 主分類號: | G06F11/34 | 分類號: | G06F11/34;G06F16/27 |
| 代理公司: | 深圳市世聯合知識產權代理有限公司 44385 | 代理人: | 汪琳琳 |
| 地址: | 518000 廣東省深圳市前海深港合作區前*** | 國省代碼: | 廣東;44 |
| 權利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關鍵詞: | 基于 數據 同步 方法 裝置 計算機 設備 存儲 介質 | ||
本申請公開了一種基于數據同步的壓測方法、裝置、計算機設備及存儲介質,屬于云技術領域,所述方法通過接收用戶輸入的壓力測試請求,其中,壓力測試請求包含模板數據、測試數據生成條件和測試指令,發送模板數據至源數據庫,判斷源數據庫中是否存在與模板數據相匹配的歷史數據,若存在,則發送模板數據和測試數據生成條件至造數平臺,并指示造數平臺基于模板數據和測試數據生成條件生成測試數據,發送測試指令和測試數據至kafka集群,并指示kafka集群進行壓力測試,生成測試結果。此外,本申請還涉及區塊鏈技術,壓力測試請求可存儲于區塊鏈中。本申請不需要在源數據庫進行批量造數,因此不會在源數據庫中制造大量臟數據,保證了整個系統的穩定性。
技術領域
本申請屬于云技術領域,具體涉及一種基于數據同步的壓測方法、裝置、計算機設備及存儲介質。
背景技術
目前IT行業,由于大數據的流行和去IOE的普及,越來越多的公司期望將公司的業務數據落庫到大數據環境當中。其中,ORACLE公司的OGG工具可以將oracle數據庫中的數據同步到大數據環境,如通過OGG工具可以將oracle數據庫中的數據同步到kafka集群。
在將oracle數據庫中的數據同步到kafka的過程中,時常需要對kafka進行壓力測試,現有的壓力測試方式主要是通過在源數據庫進行批量造數,以獲得大量測試數據,然后再通過OGG鏈路同步測試數據到模板數據庫,即通過OGG鏈路同步測試數據到kafka。但這樣的操作一方面會耗費大量的時間在測試數據的傳輸上,同時會造成源數據庫中有大量臟數據,等測試數據完全同步到kafka后,源數據庫中有臟數據還需要測試人員手動刪除,否則影響數據庫性能,而由于測試數據量較大,測試數據在傳輸過程中,測試環境的鏈路容易因此中斷,導致測試終止。
發明內容
本申請實施例的目的在于提出一種基于數據同步的壓測方法、裝置、計算機設備及存儲介質,以解決現有的kafka集群壓力測試方式需要在源數據庫進行批量造數,造成源數據庫中有大量臟數據,影響數據庫性能的技術問題。
為了解決上述技術問題,本申請實施例提供一種基于數據同步的壓測方法,采用了如下所述的技術方案:
一種基于數據同步的壓測方法,其中,基于數據同步的壓測方法應用于kafka集群的壓力測試系統,kafka集群的壓力測試系統包括源數據庫、kafka集群和OGG鏈路,OGG鏈路用于連接源數據庫和kafka集群,還包括造數平臺,基于數據同步的壓測方法具體包括:
接收用戶輸入的壓力測試請求,其中,壓力測試請求包含模板數據、測試數據生成條件和測試指令;
發送模板數據至源數據庫,遍歷存儲在源數據庫中的歷史數據,判斷源數據庫中是否存在與模板數據相匹配的歷史數據;
若存在,則發送模板數據和測試數據生成條件至造數平臺,并指示造數平臺基于模板數據和測試數據生成條件生成測試數據;
發送測試指令和測試數據至kafka集群,并指示kafka集群根據測試指令和測試數據進行壓力測試,生成測試結果。
進一步的,發送模板數據至源數據庫,遍歷存儲在源數據庫中的歷史數據,判斷源數據庫中是否存在與模板數據相匹配的歷史數據的步驟,具體包括:
對模板數據進行解析,獲取模板數據的格式信息;
遍歷存儲在源數據庫中的歷史數據,基于模板數據的格式信息,對模板數據與存儲在源數據庫中的所有歷史數據進行格式比對;
根據比對結果判斷源數據庫中是否存在與模板數據相匹配的歷史數據。
進一步的,在根據比對結果判斷源數據庫中是否存在與模板數據相匹配的歷史數據之后,還包括:
若在源數據庫中不存在與模板數據的格式完全一致歷史數據,則計算模板數據與存儲在源數據庫中的所有歷史數據的相似度;
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于平安普惠企業管理有限公司,未經平安普惠企業管理有限公司許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/202011504827.8/2.html,轉載請聲明來源鉆瓜專利網。
- 上一篇:一種具有移動功能的機器人
- 下一篇:一種道路施工用注漿機械及操作方法
- 數據顯示系統、數據中繼設備、數據中繼方法、數據系統、接收設備和數據讀取方法
- 數據記錄方法、數據記錄裝置、數據記錄媒體、數據重播方法和數據重播裝置
- 數據發送方法、數據發送系統、數據發送裝置以及數據結構
- 數據顯示系統、數據中繼設備、數據中繼方法及數據系統
- 數據嵌入裝置、數據嵌入方法、數據提取裝置及數據提取方法
- 數據管理裝置、數據編輯裝置、數據閱覽裝置、數據管理方法、數據編輯方法以及數據閱覽方法
- 數據發送和數據接收設備、數據發送和數據接收方法
- 數據發送裝置、數據接收裝置、數據收發系統、數據發送方法、數據接收方法和數據收發方法
- 數據發送方法、數據再現方法、數據發送裝置及數據再現裝置
- 數據發送方法、數據再現方法、數據發送裝置及數據再現裝置





