[發明專利]基于SQL的數據處理方法、裝置、電子設備和存儲介質

在審

• 申請號: 202010534504.7
• 申請日: 2020-06-12
• 公開（公告）號: CN111752967A
• 公開（公告）日: 2020-10-09
• 發明（設計）人: 陳迪豪;包新啟;陳靚;王太澤
• 申請（專利權）人: 第四范式（北京）技術有限公司
• 主分類號: G06F16/242
• 分類號: G06F16/242;G06F21/62;G06F21/64;G06N20/00
• 代理公司: 北京開陽星知識產權代理有限公司 11710
• 代理人: 郭鑫

1.一種基于SQL的數據處理方法，其特征在于，包括：

獲取SQL拓展語句和數據表；所述SQL拓展語句為SQL標準語句中至少一個數據處理表達式增加特征簽名得到；

對所述SQL拓展語句進行拓展編譯，生成帶有特征簽名的邏輯執行計劃；

基于所述帶有特征簽名的邏輯執行計劃，對所述數據表進行列處理，得到特征數據；

基于所述特征數據生成用于機器學習的樣本文件。

2.根據權利要求1所述的方法，其特征在于，所述特征簽名用于描述由列數據生成特征數據的方式。

3.根據權利要求1所述的方法，其特征在于，所述特征簽名為：標簽、離散特征或稠密特征。

4.根據權利要求1所述的方法，其特征在于，所述對所述SQL拓展語句進行拓展編譯，生成帶有特征簽名的邏輯執行計劃，包括：

解析所述SQL拓展語句得到多個關鍵字和所述特征簽名；

基于所述多個關鍵字和所述特征簽名，生成抽象語法樹；

基于所述抽象語法樹生成帶有特征簽名的邏輯執行計劃。

5.根據權利要求3所述的方法，其特征在于，所述基于所述帶有特征簽名的邏輯執行計劃，對所述數據表進行列處理，包括：

基于所述特征簽名為標簽，存儲所述標簽對應的列數據；

基于所述特征簽名為離散特征，將所述離散特征對應的列數據生成為高維的特征數據；

基于所述特征簽名為稠密特征，將所述稠密特征對應的列數據生成為一維的特征數據。

6.根據權利要求1所述的方法，其特征在于，基于所述特征數據生成用于機器學習的樣本文件，包括：

將所述特征數據輸出為具有預設樣本格式的樣本文件。

7.根據權利要求1所述的方法，其特征在于，所述方法還包括：

基于所述樣本文件進行機器學習模型訓練，得到機器學習模型。

8.一種基于SQL的數據處理裝置，其特征在于，包括：

交互模塊，用于獲取SQL拓展語句和數據表；所述SQL拓展語句為SQL標準語句中至少一個數據處理表達式增加特征簽名得到；

SQL編譯引擎模塊，用于對所述SQL拓展語句進行拓展編譯，生成帶有特征簽名的邏輯執行計劃；

離線引擎模塊，用于基于所述帶有特征簽名的邏輯執行計劃，對所述數據表進行列處理，得到特征數據；基于所述特征數據生成用于機器學習的樣本文件。

9.一種電子設備，其特征在于，包括：處理器和存儲器；

所述處理器通過調用所述存儲器存儲的程序或指令，用于執行如權利要求1至7任一項所述方法的步驟。

10.一種非暫態計算機可讀存儲介質，其特征在于，所述非暫態計算機可讀存儲介質存儲程序或指令，所述程序或指令使計算機執行如權利要求1至7任一項所述方法的步驟。