[發明專利]一種通用的大數據模型配置和分析方法

在審

• 申請號: 202010198405.6
• 申請日: 2020-03-19
• 公開（公告）號: CN111339375A
• 公開（公告）日: 2020-06-26
• 發明（設計）人: 李明江;萬歡;劉敏;辛國安;鄭毅;黃小非;劉歡;杜宏偉;閆賓;李新建
• 申請（專利權）人: 中國海洋石油集團有限公司;中海油能源發展股份有限公司
• 主分類號: G06F16/901
• 分類號: G06F16/901;G06F16/904
• 代理公司: 天津創智天誠知識產權代理事務所(普通合伙) 12214
• 代理人: 王秀奎

1.一種通用的大數據模型配置和分析方法，其特征在于：

(1)構建分析模型配置方法

第一步：確定分析模型名稱，從算法庫中選擇分析算法，配置算法參數；

第二步：從數據集中選擇一張或多張元數據表，勾選出要分析的數據列，作為數據分析的數據集，配置數據篩選、分組、排序等數據處理，最后得到的數據作為模型分析的基礎數據；

第三步：填寫數據清洗規則，對分析基礎數據進行重新的審查和校驗、處理無效值和缺失值、刪除重復信息、對數據列進行計算與處理，并對數據進行篩選、分組、排序；

第四步：選擇潛在因素列作為數據樣本，除聚類等無監督學習之外，指定一個特征列，選擇目標因素；

(2)大數據分析配置與執行方法

第一步：配置訓練模型執行模式，有手動執行和調度執行兩種模式，手動模式為一次性訓練，調度執行模式針對增量數據自動批量訓練執行；

第二步：配置完成后，系統后臺運行，自動根據選定的海量數據集進行數據準備、清洗，按照選定的算法及配置參數進行訓練，分析比較評估指標，選用最優算法參數，最終生成分析模型；

第三步：根據訓練結果，對不理想的模型，調整模型參數，反復訓練，每次訓練執行后，生成訓練版本號、批次號及詳細分析結果，可供查詢；

第四步：對訓練好的模型，轉換成實際預測模型，指定預測(實時)數據進行預測預警分析；

(3)推送預警信息

預警推送中心，監控各模型執行情況，對于大數據分析的異常分析結果，實時處理推送預警信息，提醒、通知相關人員；

(4)預覽分析結果

對模型執行情況，可從定制的界面中查看分析結果可視化數據，也可以查看模型版本號、批次號及詳細分析結果；

(5)共享分析模型

提供分析模型的雙向共享功能，對于其他系統的優秀分析模型，可以借鑒并引入，然后成化為平臺內的分析模型，同時平臺中的分析模型可以導出，將分析模型和軟件接口規范提供給其它系統使用。