[發明專利]程序開發方法和裝置、存儲介質及電子裝置

在審

• 申請號: 202011636832.4
• 申請日: 2020-12-31
• 公開（公告）號: CN112612514A
• 公開（公告）日: 2021-04-06
• 發明（設計）人: 程殿虎
• 申請（專利權）人: 青島海爾科技有限公司;海爾智家股份有限公司
• 主分類號: G06F8/71
• 分類號: G06F8/71;G06F9/445
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 趙靜

本發明提供了一種程序開發方法和裝置、存儲介質及電子裝置，上述方法包括：根據已獲取的目標計算作業的配置文件，解析配置文件中指示的計算引擎、數據源插件和計算節點插件，并生成目標計算作業的提交腳本；運行提交腳本以將目標計算作業提交到目標資源管理系統；根據配置文件對數據源插件和計算節點插件進行加載并實例化，通過計算引擎執行實例化后的數據源插件以從數據源獲取數據，并通過計算引擎執行實例化后的計算節點插件以對數據進行計算。通過本發明，解決了相關技術中程序開發效率較低的技術問題，提高了程序開發效率，并且降低了計算作業的項目代碼的維護和管理難度。

技術領域

本發明涉及數據計算技術領域，具體而言，涉及一種程序開發方法和裝置、存儲介質及電子裝置。

背景技術

在大數據時代，對數據的實時處理需求越來越迫切，實時計算作業越來越多。在大數據計算中，開發人員可以使用相關的大數據計算框架，例如Spark及Flink開發實時計算程序以及完成實時計算作業。然而，在相關技術中，實時計算程序的開發需要開發人員深入學習并熟悉Spark及Flink等計算框架，以及了解其中的優化手段，才可以完成實時計算作業項目，并且由于不同的開發人員有不同的代碼編寫習慣，從而導致開發出的實時計算作業的代碼維護和管理難度較大、且難以復用，因此相關技術中的程序開發效率較低。

針對相關技術中，程序開發效率較低的技術問題，尚未提出有效的技術方案。

發明內容

本發明實施例提供了一種程序開發方法和裝置、存儲介質及電子裝置，以至少解決相關技術中程序開發效率較低的技術問題。

根據本發明的一個實施例，提供了一種程序開發方法，應用于終端，其特征在于，該方法包括：根據已獲取的目標計算作業的配置文件，解析所述配置文件中指示的計算引擎、數據源插件和計算節點插件，并生成所述目標計算作業的提交腳本；其中，所述配置文件還用于指示對所述目標計算作業的作業信息、所述計算引擎、所述數據源插件以及所述計算節點插件的配置；運行所述提交腳本以將所述目標計算作業提交到目標資源管理系統；根據所述配置文件對所述數據源插件和所述計算節點插件進行加載并實例化，通過所述計算引擎執行實例化后的數據源插件以從數據源獲取數據，并通過所述計算引擎執行實例化后的計算節點插件以對所述數據進行計算。

可選地，在根據已獲取的目標計算作業的配置文件，解析所述配置文件中指示的計算引擎、數據源插件和計算節點插件之前，所述方法還包括：建立目標計算框架，其中，所述目標計算框架包括多個數據源插件以及多個計算節點插件，所述多個數據源插件中的每個數據源插件用于從對應的一個數據源獲取數據，所述多個計算節點插件中的每個計算節點插件用于執行數據計算。

可選地，所述配置文件還用于指示所述計算引擎向所述目標資源管理器申請的計算資源，以及使用所述計算資源執行所述目標計算作業。

可選地，所述通過所述計算引擎執行實例化后的數據源插件以從數據源獲取源數據，包括：在所述配置文件指示為所述目標計算作業配置了多個數據源插件的情況下，通過所述計算引擎依次執行實例化后的所述多個數據源插件中的每個數據源插件，其中，所述每個數據源插件用于從對應的一個數據源中獲取數據；在通過所述計算引擎依次執行實例化后的所述多個數據源插件中的每個數據源插件的過程中，將從每個數據源獲取到的數據注冊為對應的一個臨時表。

可選地，在所述計算節點插件包括多個目標計算節點插件的情況下，所述配置文件還用于指示所述多個目標計算節點插件中的每個目標計算節點插件所依賴的臨時表標識和結果表標識。