[發明專利]大數據平臺動態性能優化方法及裝置

在審

• 申請號: 202110796515.7
• 申請日: 2021-07-14
• 公開（公告）號: CN113377747A
• 公開（公告）日: 2021-09-10
• 發明（設計）人: 徐隴浙;蔣照耀
• 申請（專利權）人: 浙江宇視科技有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/22;G06F16/245;G06F16/28
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 吳曉霞;栗若木

本申請公開了一種大數據平臺動態性能優化方法及裝置，該方法包括：遍歷作業系統中的數據處理流程；其中，每個數據處理流程包括一個或多個作業；對于每個數據處理流程進行如下操作：分別查找出每個作業中的冗余數據；根據冗余數據的類型對冗余數據進行存儲優化或計算性能優化。本申請公開的優化方法和裝置，提升了數據存儲性能與計算性能。

技術領域

本申請涉及大數據技術領域，尤指一種大數據平臺動態性能優化方法及裝置。

背景技術

大數據平臺是兼具數據接入、數據存儲、數據分析、數據檢索等功能在內的大數據處理系統。它包含數據集成、數據服務、數據存儲、基于SQL的作業系統幾個模塊。

數據集成模塊提供接口或協議，用于將外部數據通過接口、數據總線、或者主動拉取的方式接入到系統中。

數據服務模塊支持將數據表以SQL的方式注冊為對外接口，對外提供數據檢索、接入、更新、刪除服務，支持通過消息總線的方式對外提供數據的訂閱推送服務。

數據存儲引擎負責將數據存儲在多種異構數據源中，數據源可以是支持SQL的MPP數據庫或者使用列式文件存儲(如ORC或Parquet)的數據倉庫。從外部數據接入或者分析產生的結果數據都必須基于已存在的數據表，因此，必須由業務層先創建數據表。

基于SQL的作業系統用于支撐基于SQL的數據分析處理流程的執行，一個作業由至少一個SQL組成，SQL通常都是一些DDL語句(比如表的創建、修改、刪除)，或者查詢插入語句insert into xxxx as select*from xxxx...語句，有至少一個輸入表和一個結果輸出表，多個作業由時序依賴關系組成工作流。作業系統負責解析作業或工作流，使他們按照預定于的依賴關系和和定時周期執行(如果有定義周期執行的話)。同時它也對外提供接口接受作業或工作流的接口觸發執行和狀態監控請求。

如果需要基于大數據平臺開發業務，外部業務層需要：

使用SQL定義數據接入API(應用程序接口)接口，以支持外部數據導入平臺；使用SQL在作業系統中定義數據處理流程；在存儲引擎中創建數據接入、處理流程中需要用到的數據表；使用SQL定義數據檢索API接口，以對外暴露處理后數據的接口；除了業務層定義的數據接入、檢索服務API外，外部系統不允許采用其他方式訪問平臺內部的數據。

在業務處理中，作業執行完成后產生的結果數據會被插入到一張新的數據表。在很多場景下，中間結果表包含的字段通常只是最終業務所需字段的一部分，并不是全部，但保存過多的數據又會對數據平臺存儲空間和基于此表的后續計算產生較大性能影響。此外，長期不使用的業務流程空跑也會浪費系統資源。

發明內容

本申請提供了一種大數據平臺動態性能優化方法及裝置，能夠提升大數據平臺的數據存儲性能和計算性能。

本申請提供的一種大數據平臺動態性能優化方法，包括：

遍歷作業系統中的數據處理流程；其中，每個數據處理流程包括一個或多個作業；

對于每個數據處理流程進行如下操作：

分別查找出每個作業中的冗余數據；

根據冗余數據的類型對冗余數據進行存儲優化和/或計算性能優化。

一種示例性的實施例中，每個作業包括數據表，每個數據表包括字段；

冗余數據的類型包括冗余字段、冗余作業、冗余數據表；

分別查找出每個作業中的冗余數據，包括：分別查找出每個作業中的以下一種或多種類型的冗余數據：冗余字段、冗余數據表、冗余作業。

一種示例性的實施例中，每個數據處理流程中至少一個作業包括出向API；