[發明專利]一種數據轉換方法、裝置、電子設備及存儲介質

在審

• 申請號: 202211302764.7
• 申請日: 2022-10-24
• 公開（公告）號: CN115617893A
• 公開（公告）日: 2023-01-17
• 發明（設計）人: 劉煒;李述昊
• 申請（專利權）人: 廣州鈦動科技有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 孔祥玥

本發明公開了一種數據轉換方法、裝置、電子設備及存儲介質，用于解決現有的ETL無法支撐繁雜的場景的數據轉換的技術問題。本發明包括：接收待轉換數據以及針對所述待轉換數據輸入的需求信息；根據所述需求信息獲取目標轉換組件；采用所述目標轉換組件生成轉換算法鏈；采用所述轉換算法鏈轉換所述待轉換數據，得到已轉換數據。本發明通過不同場景下的需求信息來獲取目標轉換組件，從而根據目標轉換組件來生成轉換算法鏈，進而通過轉換算法鏈來對待轉換數據進行轉換，從而實現了針對不同場景的數據轉換。

技術領域

本發明涉及數據轉換技術領域，尤其涉及一種數據轉換方法、裝置、電子設備及存儲介質。

背景技術

隨著互聯網業務數據的交互越發頻繁，數據量也逐漸龐大，ETL(數據抽取、轉化、輸出)這個過程逐漸系統化了起來，幾乎每一家互聯網公司都會有自己的數據轉換轉換的場景。因此現在市面上不斷地出現能獨立承載ETL這個數據工作的系統，用以服務于當今網絡上的大量數據。

然而，現有的ETL過程大多是龐大且齊全的一個系統，無論是部署難度、部署成本、實現邏輯、學習成本都是復雜且高昂的。而使用者的業務場景往往只需要使用其中的一到兩個功能，但卻需要花費大量的時間學習。此外，由于公司業務場景繁雜，業務數據也多種多樣，ETL自帶的一些默認組件往往無法支撐這些繁雜的場景。

發明內容

本發明提供了一種數據轉換方法、裝置、電子設備及存儲介質，用于解決現有的ETL無法支撐繁雜的場景的數據轉換的技術問題。

本發明提供了一種數據轉換方法，所述方法包括：

接收待轉換數據以及針對所述待轉換數據輸入的需求信息；

根據所述需求信息獲取目標轉換組件；

采用所述目標轉換組件生成轉換算法鏈；

采用所述轉換算法鏈轉換所述待轉換數據，得到已轉換數據。

可選地，所述采用所述目標轉換組件生成轉換算法鏈的步驟，包括：

根據所述需求信息獲取數據處理順序；

根據所述數據處理順序組合所述目標轉換組件，生成轉換算法鏈。

可選地，所述采用所述轉換算法鏈轉換所述待轉換數據，得到已轉換數據的步驟，包括：

獲取所述待轉換數據的格式；

獲取所述待轉換數據的格式對應的解析策略；

采用所述解析策略解析所述待轉換數據，得到目標格式數據；

采用所述轉換算法鏈轉換所述目標格式數據，得到已轉換數據。

可選地，所述采用所述轉換算法鏈轉換所述目標格式數據，得到已轉換數據的步驟，包括：

根據所述需求信息獲取轉換算法鏈中各目標轉換組件的數據處理方式；

根據所述數據處理方式轉換所述目標格式數據，得到已轉換數據。

本發明還提供了一種數據轉換裝置，包括：

接收模塊，用于接收待轉換數據以及針對所述待轉換數據輸入的需求信息；

目標轉換組件獲取模塊，用于根據所述需求信息獲取目標轉換組件；

轉換算法鏈生成模塊，用于采用所述目標轉換組件生成轉換算法鏈；

轉換模塊，用于采用所述轉換算法鏈轉換所述待轉換數據，得到已轉換數據。

可選地，所述轉換算法鏈生成模塊，包括：

數據處理順序獲取子模塊，用于根據所述需求信息獲取數據處理順序；