[發明專利]一種數據同步軟件的性能優化方法與裝置

在審

• 申請號: 202011141641.0
• 申請日: 2020-10-22
• 公開（公告）號: CN112328254A
• 公開（公告）日: 2021-02-05
• 發明（設計）人: 付銓;馮源;余院蘭;宋天揚
• 申請（專利權）人: 武漢達夢數據庫有限公司
• 主分類號: G06F8/41
• 分類號: G06F8/41;G06F16/27;G06N20/00
• 代理公司: 深圳市六加知識產權代理有限公司 44372
• 代理人: 向彬

本發明涉及數據同步優化技術領域，具體涉及一種數據同步軟件的性能優化方法與裝置，其中方法包括：通過因子分析將數據同步軟件的多個度量指標按照相關性劃分為n組，并基于n組度量指標構造出對應的n個有效指標；通過線性回歸和正則化，從數據同步軟件的多個參數中篩選出對n個有效指標整體影響最大的m個參數；基于歷史數據和高斯過程回歸對m個參數進行配置，直至得到的n個有效指標滿足優化需求，并將每次配置的m個參數和對應得到的n個有效指標以映射形式保存。本發明提供的上述性能優化方案，整個過程可進行自動化的參數調優，降低人工優化的復雜度，減少人工優化的工作量。

【技術領域】

本發明涉及數據同步優化技術領域，具體涉及一種數據同步軟件的性能優化方法與裝置。

【背景技術】

數據同步軟件的功能比較簡單，即實現源端數據庫的數據同步到目的端數據庫。但是在各類不同的應用環境下，為了使數據同步軟件達到最優的同步效率，這通常又是一項艱巨的任務，原因主要有：

(1)參數的依賴關系：許多參數不是獨立的，參數與參數之間存在依賴關系，改變一個參數的值可能會影響另一個參數帶來的優勢。因此，傳統的參數優化時通常只能一次更換一個參數，但當碰到大量的參數時，優化的過程便會很慢。

(2)參數的連續設置：某些參數的值是連續的，即有很多種可能的參數設置。比如，內存緩沖池的大小可以是從0到系統上限的任意值。在某些范圍內，此參數增加0.1GB可能無關緊要，而在其他范圍內，增加0.1GB可能會導致性能急劇下降。

(3)參數的不可重用：即通常不能從一個應用程序到下一個應用程序重用相同的參數配置。因為不同的應用系統要求不一樣，環境也不一樣，人工花費精力調優了一個應用場景時，此時軟件的最佳配置可能對另一個應用場景來說不是最好的。

(4)參數的復雜性：隨著數據同步軟件新版本和新功能的發布，新的參數也會不斷增加，從而使得數據同步軟件性能調優很難跟上這些變化。

在傳統的方案中，一般是通過人工優化的方式對數據同步軟件進行性能調優，但人工優化復雜度高、工作量大，為了使數據同步軟件達到最優的同步效率通常費時費力。

鑒于此，克服上述現有技術所存在的缺陷是本技術領域亟待解決的問題。

【發明內容】

本發明需要解決的技術問題是：

由于參數的依賴關系、連續設置、不可重用等原因，數據同步軟件的調優比較困難，傳統的方案中一般通過人工優化實現，但人工優化復雜度高、工作量大，為了使數據同步軟件達到最優的同步效率通常費時費力，為解決上述問題，本發明提出一種自動化的參數調優方法，用于實現數據同步軟件的性能優化。

本發明通過如下技術方案達到上述目的：

第一方面，本發明提供了一種數據同步軟件的性能優化方法，其特征在于，數據同步軟件內設有多個參數和多個度量指標，參數配置決定度量指標；則性能優化方法包括：

通過因子分析將數據同步軟件的多個度量指標按照相關性劃分為n組，并基于n組度量指標構造出對應的n個有效指標；

通過線性回歸和正則化，從數據同步軟件的多個參數中篩選出對所述n個有效指標整體影響最大的m個參數；

基于歷史數據和高斯過程回歸對所述m個參數進行配置，直至得到的n個有效指標滿足優化需求，并將每次配置的m個參數和對應得到的n個有效指標以映射形式保存；

其中，所述歷史數據中包括歷史每次進行性能優化時，每次配置的m個參數和對應得到的n個有效指標。

優選地，所述通過因子分析將數據同步軟件的多個度量指標按照相關性劃分為n組，并基于n組度量指標構造出對應的n個有效指標，具體為：