[發明專利]實現Trino Iceberg連接中的Update功能的方法

在審

• 申請號: 202210150032.4
• 申請日: 2022-02-10
• 公開（公告）號: CN114579589A
• 公開（公告）日: 2022-06-03
• 發明（設計）人: 蘭洋
• 申請（專利權）人: 杭州玳數科技有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/242
• 代理公司: 常州佰業騰飛專利代理事務所(普通合伙) 32231
• 代理人: 劉松

本發明提供一種實現Trino Iceberg連接中的Update功能的方法，包括以下步驟：通過Trino Engine Sql執行引擎接收并解析用戶提交的Update Sql任務，以獲取可執行計劃；通過Trino提供的UpdatablePageSource軟件編程接口，來支持對Iceberg元數據以及底層數據的Update功能邏輯；根據Update功能邏輯，通過Iceberg提供的RowDelta應用編程接口對Iceberg底層數據進行數據UPDATE操作。本發明可以在通過Trino對接Iceberg數據湖時支持Update功能，使用戶能方便高效的完成更多的批處理場景。

技術領域

本發明涉及數據處理技術領域，具體涉及一種實現Trino Iceberg連接中的Update功能的方法、一種計算機設備和一種非臨時性計算機可讀存儲介質。

背景技術

Iceberg是一種用于大型分析數據集的開放表格格式，它使用一種類似于SQL(Structured Query Language，結構化查詢語言)表的高性能表格式，可以將表添加到Spark(一種專為大規模數據處理而設計的快速通用的計算引擎)、Trino(一種用于大數據分析的快速分布式SQL查詢引擎)、Flink(一種開源流處理框架)和Hive(一種數據倉庫工具)等計算引擎中并支持對該表格式的增刪查改等操作。

目前，目前能支持Iceberg表的UPDATE操作的計算引擎只有Spark以及Flink，從而在實時、離線計算分析上提供了更多的計算場景，滿足更多的業務需求，而Trino不支持對Iceberg表的UPDATE操作。

Trino是一款基于內存的PB級分布式SQL計算引擎，它通過Connector(連接器)SPI(Serial Peripheral Interface，串行外設接口)實現了計算層和存儲層的低耦合，使其支持對各種數據源的訪問與操作，并具有跨源查詢的特性。Iceberg作為數據湖方案之一，支持Iceberg Connector的Update語法是Trino在對接數據湖方案中的重要一環，而相關技術中，Trino不支持對Iceberg表的UPDATE操作，從而導致Trino對接Iceberg數據時無法實現數據的批量更新功能。

發明內容

為解決上述技術問題，本發明的第一個目的在于提出一種實現Trino Iceberg連接中的Update功能的方法。

本發明的第二個目的在于提出一種計算機設備。

本發明的第三個目的在于提出一種非臨時性計算機可讀存儲介質。

本發明采用的技術方案如下：

本發明第一方面的實施例提出了一種實現Trino Iceberg連接中的Update功能的方法，包括以下步驟：通過Trino Engine Sql執行引擎接收并解析用戶提交的Update Sql任務，以獲取可執行計劃；通過Trino提供的UpdatablePageSource軟件編程接口，來支持對Iceberg元數據以及底層數據的Update功能邏輯；根據所述Update功能邏輯，通過Iceberg提供的RowDelta應用編程接口，對Iceberg底層數據進行數據UPDATE操作。

本發明上述提出的實現Trino Iceberg連接中的Update功能的方法還可以具有如下附加技術特征：