[發明專利]用于大數據處理與分析模型的快速開發框架及其構建方法

在審

• 申請號: 202111104872.9
• 申請日: 2021-09-22
• 公開（公告）號: CN113792029A
• 公開（公告）日: 2021-12-14
• 發明（設計）人: 鄭愷;陳新源
• 申請（專利權）人: 電信科學技術第十研究所有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/25
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郭永麗

本發明公開了一種用于大數據處理與分析模型的快速開發框架及其構建方法，該框架包括：模型管理組件，用于根據提供的統一模型接口接收符合定義的分析模型，且將分析模型進行注冊并存儲以供查詢，還將通用的分析模型作為通用模型以供調用；任務架構組件，用于接收并管理多個與分析模型對應的任務，且將任務與對應的分析模型綁定后執行分析模型；頁面展示組件，用于展示模型管理組件和任務架構組件中的相關信息；基礎設施組件，用于提供基礎功能和對外服務接口以及API接口。本發明可以統一開發、管理、運行大量模型，減少了模型開發者的工作量，有效提高了模型開發效率。

技術領域

本發明涉及開發框架技術領域，具體涉及一種用于大數據處理與分析模型的快速開發框架及其構建方法。

背景技術

大數據時代中，數據的價值稀疏性以及數據與需求的多樣化導致模型開發者需要開發大量的數據處理與分析模型來對數據進行處理與分析。隨著模型的增多，模型之間的關系越來越復雜，導致模型開發更加困難且難以管理和統一運行。

目前，大多數開發框架都是針對開發和管理應用的，而現有用于開發和管理應用的開發框架難以滿足開發大數據處理與分析模型的開發需求，因此缺少一種用于開發大數據處理與分析模型的開發框架，以使模型開發者能夠使用該開發框架統一開發、管理和運行模型，來減少模型開發者的工作量并提高模型開發效率。

需要注意的是，本部分旨在為權利要求書中陳述的本公開的實施方式提供背景或上下文。此處的描述不因為包括在本部分中就承認是現有技術。

發明內容

本發明實施例提供一種用于大數據處理與分析模型的快速開發框架及其構建方法，以解決現有技術中由于缺乏用于開發大數據處理與分析模型的開發框架而使得數據處理與分析模型開發困難且難以管理和統一運行的問題。

第一方面，本發明實施例提供一種用于大數據處理與分析模型的快速開發框架，包括：

模型管理組件，用于根據提供的統一模型接口接收符合定義的分析模型，且將所述分析模型進行注冊并存儲以供查詢，還將通用的所述分析模型作為通用模型以供調用，以實現所述分析模型的快速開發與管理；

任務架構組件，用于接收并管理多個與所述分析模型對應的任務，且將所述任務與對應的所述分析模型綁定后執行所述分析模型；還對執行結束后得到的任務結果數據進行管理，以實現所述分析模型的快速迭代；

頁面展示組件，用于展示所述模型管理組件和所述任務架構組件中的相關信息，以提供直觀的管理界面；

基礎設施組件，用于為所述模型管理組件、所述任務架構組件和所述頁面展示組件提供基礎功能和對外服務接口，以及API接口。

作為本發明第一方面的優選方式，所述模型管理組件包括模型接口模塊、模型注冊模塊、模型查詢模塊和通用模型模塊；

所述模型接口模塊提供統一模型接口并接收符合所述統一模型接口定義的分析模型，所述模型注冊模塊將所述分析模型進行注冊并統一存儲，所述模型查詢模塊提供所述分析模型的查詢功能，所述通用模型模塊提供通用的分析模型以供調用。

作為本發明第一方面的優選方式，所述統一模型接口定義了分析模型需要實現的方法，包括dform方法、check方法、run方法、metadata方法和info方法；

所述dform方法用于定義所述分析模型在所述頁面展示組件中的展現形式，所述check方法用于檢查所述分析模型的執行參數是否正常，所述run方法用于編寫所述分析模型中的數據處理與分析邏輯，所述metadata方法用于攜帶所述分析模型的描述信息，所述描述信息包括模型唯一標識、模型名稱、模型所屬類別、模型功能描述以及用于頁面展示的模型圖標名稱，所述info方法用于輸出在所述分析模型執行過程中需要保存的信息。