[發明專利]基于SQL的數據處理方法、裝置、電子設備和存儲介質

在審

• 申請號: 202010534504.7
• 申請日: 2020-06-12
• 公開（公告）號: CN111752967A
• 公開（公告）日: 2020-10-09
• 發明（設計）人: 陳迪豪;包新啟;陳靚;王太澤
• 申請（專利權）人: 第四范式（北京）技術有限公司
• 主分類號: G06F16/242
• 分類號: G06F16/242;G06F21/62;G06F21/64;G06N20/00
• 代理公司: 北京開陽星知識產權代理有限公司 11710
• 代理人: 郭鑫

本公開涉及基于SQL的數據處理方法、裝置、電子設備和存儲介質，方法包括：獲取SQL拓展語句和數據表；SQL拓展語句為SQL標準語句中的數據處理表達式增加特征簽名得到；對SQL拓展語句進行拓展編譯，生成帶特征簽名的邏輯執行計劃；基于邏輯執行計劃，對數據表進行列處理得到特征數據；基于特征數據生成用于機器學習的樣本文件。可見，通過對SQL標準語句中的數據處理表達式增加特征簽名，實現拓展SQL語句，進而在對數據表進行SQL數據處理時，可基于特征簽名實現對數據的特征處理，從而可直接生成用于機器學習的帶特征的樣本文件，至少解決目前需要單獨編寫程序來為每列數據進行特征簽名，才能導出機器學習場景可使用的樣本文件，生成樣本文件效率較低的問題。

技術領域

本公開實施例涉及數據處理技術領域，具體涉及一種基于SQL的數據處理方法、裝置、電子設備和非暫態計算機可讀存儲介質。

背景技術

SQL(Structured Query Language，結構化查詢語言)是一種數據處理語言，目前關系型數據庫管理系統和Spark等大數據處理框架可支持SQL，SQL也常用于機器學習場景的數據處理和特征抽取階段。本公開的發明人發現在機器學習場景使用SQL至少存在以下問題。

其一是SQL中需要以表的形式來組織數據，通常是基于一個表生成另一個新表，但在機器學習場景，經常需要把一維的原始數據哈希生成超高維的特征數據，例如一個千億維的稀疏特征數據，如果以表的形式存儲就需要補零成千億列數據而實際有值的只有某幾列，這樣無論是存儲還是計算的成本較大，因此在SQL中描述和存儲高維的數據效率較低。

其二是由于SQL無法表示高維的特征數據，因此用戶使用SQL進行數據處理后，還需要單獨編寫程序來為每列數據進行特征簽名(也即描述單列數據是稀疏特征數據還是稠密特征數據)，才能導出機器學習場景可使用的樣本文件，因此生成樣本文件的效率較低。

上述對問題的發現過程的描述，僅用于輔助理解本公開的技術方案，并不代表承認上述內容是現有技術。

發明內容

為了解決現有技術存在的至少一個問題，本公開的至少一個實施例提供了一種基于SQL的數據處理方法、裝置、電子設備和非暫態計算機可讀存儲介質。

第一方面，本公開實施例提出一種基于SQL的數據處理方法，包括：

獲取SQL拓展語句和數據表；所述SQL拓展語句為SQL標準語句中至少一個數據處理表達式增加特征簽名得到；

對所述SQL拓展語句進行拓展編譯，生成帶有特征簽名的邏輯執行計劃；

基于所述帶有特征簽名的邏輯執行計劃，對所述數據表進行列處理，得到特征數據；

基于所述特征數據生成用于機器學習的樣本文件。

第二方面，本公開實施例提出一種基于SQL的數據處理裝置，包括：

交互模塊，用于獲取SQL拓展語句和數據表；所述SQL拓展語句為SQL標準語句中至少一個數據處理表達式增加特征簽名得到；

SQL編譯引擎模塊，用于對所述SQL拓展語句進行拓展編譯，生成帶有特征簽名的邏輯執行計劃；

離線引擎模塊，用于基于所述帶有特征簽名的邏輯執行計劃，對所述數據表進行列處理，得到特征數據；基于所述特征數據生成用于機器學習的樣本文件。

第三方面，本公開實施例提出一種電子設備，包括：處理器和存儲器；所述處理器通過調用所述存儲器存儲的程序或指令，用于執行如第一方面所述基于SQL的數據處理方法的步驟。

第四方面，本公開實施例提出一種非暫態計算機可讀存儲介質，用于存儲程序或指令，所述程序或指令使計算機執行如第一方面所述基于SQL的數據處理方法的步驟。