[發明專利]一種基于模擬退火算法的數據倉庫ETL調度優化方法

在審

• 申請號: 202210798498.5
• 申請日: 2022-07-06
• 公開（公告）號: CN115129451A
• 公開（公告）日: 2022-09-30
• 發明（設計）人: 左鋒;袁馳;蒙國學;程坤;賈鋒
• 申請（專利權）人: 中國人民解放軍陸軍軍醫大學第一附屬醫院
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F16/25
• 代理公司: 重慶青飛知識產權代理有限公司 50283
• 代理人: 彭啟龍

本發明涉及一種基于模擬退火算法的數據倉庫ETL調度優化方法，包括以下步驟：初始化初始溫度、初始任務調度狀態、每一個溫度的迭代次數、溫度下降的速率、最低溫度；生成初始任務工作隊列，計算初始任務調度的任務執行時間；產生新的任務工作隊列和任務執行時間；根據Metropolis準則，判斷是否成立；接受當前任務工作隊列和，判斷是否達到最大迭代次數，若是則將溫度以一定的溫度下降速率下降得到新的溫度；當前任務工作隊列，任務調度的任務執行時間即為模擬退火算法所找到的最優解。本發明將模擬退火算法引入到數據倉庫ETL任務調度中，將模擬退火算法最優解與ETL最優任務進行對應，提高了ETL訪問效率。

技術領域

本發明屬于數據庫技術領域，涉及一種基于模擬退火算法的數據倉庫ETL調度優化方法。

背景技術

隨著企業信息化建設的發展，巨大的投資為企業建立了眾多的信息系統，以幫助企業進行內外部業務的處理和管理工作。但是隨著信息系統的增加，各自孤立工作的信息系統將會造成大量的冗余數據和業務人員的重復勞動。數據集成是企業應用集成的重要環節，企業實現數據集成，可以使更多的人更充分地使用已有數據資源，減少資料收集、數據采集等重復勞動和相應費用。

數據倉庫結構主要包括：數據源、ETL過程、數據展現。數據倉庫的數據源主要來自企業保密的內部數據及對外公開的部分外部數據等；ETL過程是對數據的處理過程，其中的數據抽取部分是數據倉庫的入口，然后進行一定的轉換處理后轉載到數據倉庫中去，從而為用戶提供所需數據；數據展現是使用專業的技術工具進行報表生產、決策分析及挖掘等操作。

ETL是將數據從數據源端經過數據抽取、轉換、加載到目的端的過程。目前，ETL一詞經常與數據倉庫同時出現，但是其實ETL的對象并不只限于數據倉庫。在ETL過程中數據抽取是將源數據的所需數據取出，轉換則是將取出的數據經過清洗轉成目標數據，加載是將處理好的目標數據載入目的端中。ETL的最終目標是把原始的數據經過技術處理后集成裝入數據倉庫中，然后使用專業的工具對數據進行報表生產、數據分析、數據挖掘等處理，最終為企業的決策提供準確的決策依據。

基于貪心算法的任務調度算法在進行任務調度的時候,在一定程度上考慮了各任務時間對于總運行時間的影響，按照從小到大或者從大到小順序將各任務時間進行排序，進而按照排序的結果進行分配任務。眾所周知，貪心算法只是一種求解局部最優解的方法，而且在任務數目非常巨大的時候，排序的過程將會耗費很多的時間。基于貪心算法的任務調度算法既非最優解又耗時較長，因此，有必要尋找一種更優的方法來進行任務調度。

模擬退火算法則是對貪心算法的一種改進，通過隨機的退火降溫過程，可能在一定的概率內跳出，局部最優解，找到整個任務調度中的全局最優解。數據抽取是ETL的一個子過程，僅考慮增量數據的抽取優化，對于整個ETL過程來說依然比較局部。ETL的任務調度則是從宏觀的角度考慮整個ETL過程的質量，從而直接影響其執行效率的高低。就數據來說，對于一個企業，要在保證數據正確性的基礎上，來提高ETL的處理效率。單線程模式下的ETL過程執行后可以保證數據的準確性，但是效率太慢，對于公司購買的具有大量多核處理器的服務器而言就有一些浪費。因此，要在充分利用資源的基礎上，從任務調度方案出發，對ETL過程進行效率優化。

因此，本發明提出基于模擬退火的任務調度算法來尋找最優的任務調度，節省任務執行的時間。

發明內容

有鑒于此，本發明的目的在于提供一種基于模擬退火算法的數據倉庫ETL調度優化方法，該方法在貪婪算法的基礎上，使用模擬退火算法對數據倉庫的調度優化問題進行求解，提高ETL訪問效率。

為達到上述目的，本發明提供如下技術方案：

一種基于模擬退火算法的數據倉庫ETL調度優化方法，該方法包括以下步驟：

S1：初始化初始溫度C、初始任務調度狀態S、每一個溫度的迭代次數D、溫度下降的速率R、最低溫度C₀；