[發明專利]用于大數據處理與分析模型的快速開發框架及其構建方法

在審

• 申請號: 202111104872.9
• 申請日: 2021-09-22
• 公開（公告）號: CN113792029A
• 公開（公告）日: 2021-12-14
• 發明（設計）人: 鄭愷;陳新源
• 申請（專利權）人: 電信科學技術第十研究所有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/25
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郭永麗

1.一種用于大數據處理與分析模型的快速開發框架，其特征在于，包括：

模型管理組件，用于根據提供的統一模型接口接收符合定義的分析模型，且將所述分析模型進行注冊并存儲以供查詢，還將通用的所述分析模型作為通用模型以供調用，以實現所述分析模型的快速開發與管理；

任務架構組件，用于接收并管理多個與所述分析模型對應的任務，且將所述任務與對應的所述分析模型綁定后執行所述分析模型；還對執行結束后得到的任務結果數據進行管理，以實現所述分析模型的快速迭代；

頁面展示組件，用于展示所述模型管理組件和所述任務架構組件中的相關信息，以提供直觀的管理界面；

基礎設施組件，用于為所述模型管理組件、所述任務架構組件和所述頁面展示組件提供基礎功能和對外服務接口，以及API接口。

2.根據權利要求1所述的快速開發框架，其特征在于，所述模型管理組件包括模型接口模塊、模型注冊模塊、模型查詢模塊和通用模型模塊；

所述模型接口模塊提供統一模型接口并接收符合所述統一模型接口定義的分析模型，所述模型注冊模塊將所述分析模型進行注冊并統一存儲，所述模型查詢模塊提供所述分析模型的查詢功能，所述通用模型模塊提供通用的分析模型以供調用。

3.根據權利要求2所述的快速開發框架，其特征在于，所述統一模型接口定義了分析模型需要實現的方法，包括dform方法、check方法、run方法、metadata方法和info方法；

所述dform方法用于定義所述分析模型在所述頁面展示組件中的展現形式，所述check方法用于檢查所述分析模型的執行參數是否正常，所述run方法用于編寫所述分析模型中的數據處理與分析邏輯，所述metadata方法用于攜帶所述分析模型的描述信息，所述描述信息包括模型唯一標識、模型名稱、模型所屬類別、模型功能描述以及用于頁面展示的模型圖標名稱，所述info方法用于輸出在所述分析模型執行過程中需要保存的信息。

4.根據權利要求1所述的快速開發框架，其特征在于，所述任務架構組件包括任務信息模塊、任務狀態管理模塊、任務列表管理模塊、任務調度執行模塊和任務數據管理模塊；

所述任務信息模塊提供多個與所述分析模型對應任務的任務信息，所述任務的任務信息至少包括用戶唯一標識、任務唯一標識、模型唯一標識、用戶名稱、任務名稱、模型名稱，所述任務狀態管理模塊管理所述任務在執行過程中的狀態信息，所述任務列表管理模塊將所述任務保存至任務列表中進行統一管理，且將所述任務列表分別保存在內存和分布式文件存儲系統中，所述任務調度執行模塊將所述任務與對應的所述分析模型綁定后，采用同步或異步調度模式調用所述分析模型執行所述任務，所述任務數據管理模塊對執行結束后得到的任務結果數據進行管理。

5.根據權利要求4所述的快速開發框架，其特征在于，所述將所述任務與對應的所述分析模型綁定后，采用同步或異步調度模式調用所述分析模型執行所述任務，包括：

確認所述任務提交的部分任務信息合法后，補全所述任務信息；

確認所述任務與對應的所述分析模型綁定后，判斷采用同步或異步調度模式調用所述分析模型執行所述任務；

若采用同步調度模式，則直接調用所述分析模型執行所述任務，并在執行結束后返回所述任務的任務唯一標識；若采用異步調度模式，則啟動一個子線程調用所述分析模型執行所述任務，且主線程同時返回所述任務的任務唯一標識。

6.根據權利要求5所述的快速開發框架，其特征在于，所述執行所述任務，包括：

調用所述分析模型執行所述任務，并判斷所述任務是否執行成功；

若是，將執行結束后得到的任務結果數據持久化保存至分布式文件存儲系統中，并在所述任務的狀態信息中添加任務結果條數、任務結果大小和任務備注；否則，在所述任務的狀態信息中添加失敗原因；

在所述任務的狀態信息中添加任務結束時間后，將所述任務列表中的任務狀態更新為已完成，并將所述任務的狀態信息持久化保存至分布式文件存儲系統中。