[發明專利]統一地執行特征抽取的方法及系統

在審

• 申請號: 202010795856.8
• 申請日: 2018-08-21
• 公開（公告）號: CN111949349A
• 公開（公告）日: 2020-11-17
• 發明（設計）人: 黃亞建;王太澤;鄧龍;范曉亮;劉晨璐;劉永超;孫迪
• 申請（專利權）人: 第四范式（北京）技術有限公司
• 主分類號: G06F9/451
• 分類號: G06F9/451
• 代理公司: 北京銘碩知識產權代理有限公司 11286
• 代理人: 蘇銀虹;徐璐璐

提供一種統一地執行特征抽取的方法及系統。所述方法包括：獲取用于定義與特征抽取相關的處理邏輯的特征抽取腳本；解析所述特征抽取腳本，以生成用于進行特征抽取的執行計劃；以及基于特征抽取場景，通過本機或集群執行生成的執行計劃。根據所述方法及系統，能夠在各種特征抽取場景下，統一地執行特征抽取。

本申請是申請日為2018年08月21日、申請號為201810954494.5、題為“統一地執行特征抽取的方法及系統”的專利申請的分案申請。

技術領域

本發明總體說來涉及數據處理領域，更具體地講，涉及一種統一地執行特征抽取的方法及系統。

背景技術

隨著海量數據的出現，人們傾向于使用機器學習技術來從數據中挖掘出價值。機器學習是人工智能研究發展到一定階段的必然產物，其致力于通過計算的手段，利用經驗來改善系統自身的性能。在計算機系統中，“經驗”通常以“數據”形式存在，通過機器學習算法，可從數據中產生“模型”，也就是說，將經驗數據提供給機器學習算法，就能基于這些經驗數據產生模型；在面對新的情況時，利用訓練好的模型來得到相應的預測結果。不論是訓練機器學習模型的階段，還是利用機器學習模型進行預估的階段，都需要對數據進行特征抽取來得到包括各種特征的機器學習樣本。

當前的機器學習平臺或系統主要實現的是訓練機器學習模型的功能，即，利用已收集好的大規模數據進行特征抽取、模型構建、模型調優等操作的過程，該階段不重視響應速度，但重視吞吐量，即單位時間內處理的數據量。如果需要使用已訓練好的機器學習模型進行預估，則往往在乎的是響應速度，而不關注吞吐量，這使得技術人員不得不針對預估階段進行額外開發，尤其需要針對特征抽取過程進行額外開發，導致實現預估的成本較高。

發明內容

本發明的示例性實施例在于提供一種統一地執行特征抽取的方法及系統，其能夠在各種特征抽取場景下，統一地執行特征抽取。

根據本發明的示例性實施例，提供一種統一地執行特征抽取的方法，其中，所述方法包括：獲取用于定義與特征抽取相關的處理邏輯的特征抽取腳本；解析所述特征抽取腳本，以生成用于進行特征抽取的執行計劃；以及基于特征抽取場景，通過本機或集群執行生成的執行計劃。

可選地，基于特征抽取場景通過本機或集群執行生成的執行計劃的步驟包括：當特征抽取場景為在線特征抽取場景時，通過本機以單機模式執行生成的執行計劃；以及當特征抽取場景為離線特征抽取場景時，通過集群以分布式模式執行生成的執行計劃。

可選地，解析所述特征抽取腳本以生成用于進行特征抽取的執行計劃的步驟包括：按處理順序分割所述特征抽取腳本所定義的處理邏輯，來生成用于進行特征抽取的執行計劃。

可選地，所述處理邏輯涉及在至少一個時間窗口下進行特征抽取，并且，按處理順序分割所述特征抽取腳本所定義的處理邏輯來生成用于進行特征抽取的執行計劃的步驟包括：針對各個時間窗口，分別按處理順序分割相應的處理邏輯來生成用于進行特征抽取的執行計劃。

可選地，所述執行計劃是由節點構成的有向無環圖，其中，所述節點與分割后的處理邏輯對應，并且，基于特征抽取場景通過本機或集群執行生成的執行計劃的步驟包括：基于特征抽取場景，通過本機或集群實現與各個節點對應的處理邏輯來執行生成的執行計劃。

可選地，所述節點包括與用于從數據表獲取特征的處理邏輯對應的計算節點。

可選地，所述節點還包括與用于進行數據表拼接的處理邏輯對應的拼表節點和/或與用于進行特征匯總的處理邏輯對應的特征拼接節點。