[發(fā)明專利]實現(xiàn)數(shù)據(jù)表拼接及自動訓(xùn)練機器學(xué)習(xí)模型的方法和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201811619007.6
• 申請日: 2018-12-28
• 公開（公告）號: CN109697066B
• 公開（公告）日: 2021-02-05
• 發(fā)明（設(shè)計）人: 喬勝傳;王敏;桂權(quán)力;王嘉磊;孫越;婁辰
• 申請（專利權(quán)）人: 第四范式（北京）技術(shù)有限公司
• 主分類號: G06F8/34
• 分類號: G06F8/34;G06F16/2455;G06F16/22;G06N20/00
• 代理公司: 北京銘碩知識產(chǎn)權(quán)代理有限公司 11286
• 代理人: 徐璐璐;曾世驍

1.一種實現(xiàn)數(shù)據(jù)表拼接的方法，包括：

根據(jù)用戶在屏幕中執(zhí)行的用于基于關(guān)聯(lián)字段建立數(shù)據(jù)表間的關(guān)聯(lián)關(guān)系的輸入操作，在任意兩個數(shù)據(jù)表之間建立基于關(guān)聯(lián)字段的關(guān)聯(lián)關(guān)系，其中，基于關(guān)聯(lián)字段的關(guān)聯(lián)關(guān)系是指基于兩個數(shù)據(jù)表中對應(yīng)的含義相同的關(guān)聯(lián)字段而建立的對應(yīng)關(guān)系；

根據(jù)用戶在屏幕中執(zhí)行的用于指定數(shù)據(jù)表內(nèi)的字段與主鍵之間的關(guān)聯(lián)關(guān)系和/或字段的類型的輸入操作，設(shè)置數(shù)據(jù)表內(nèi)的字段與主鍵之間的關(guān)聯(lián)關(guān)系和/或字段的類型，其中，數(shù)據(jù)表內(nèi)的字段與主鍵之間的關(guān)聯(lián)關(guān)系是指一對一、一對多、多對一或多對多，字段的類型是指單維度類別型字段、多維度類別型字段、單維度數(shù)值型字段或多維度數(shù)值型字段，其中，若字段為單維度類別型字段，則該字段與主鍵之間的關(guān)聯(lián)關(guān)系為一對多，若字段為多維度類別型字段，則該字段與主鍵之間的關(guān)聯(lián)關(guān)系為多對多，若字段為單維度數(shù)值型字段，則該字段與主鍵之間的關(guān)聯(lián)關(guān)系為一對一，若字段為多維度數(shù)值型字段，則該字段與主鍵之間的關(guān)聯(lián)關(guān)系為多對一；以及

基于數(shù)據(jù)表內(nèi)的字段與主鍵之間的關(guān)聯(lián)關(guān)系和/或字段的類型，在彼此之間通過基于關(guān)聯(lián)字段的關(guān)聯(lián)關(guān)系而關(guān)聯(lián)起來的至少兩個數(shù)據(jù)表之間拼接出對應(yīng)的一個關(guān)聯(lián)數(shù)據(jù)表；

其中，基于數(shù)據(jù)表內(nèi)的字段與主鍵之間的關(guān)聯(lián)關(guān)系和/或字段的類型在彼此之間通過基于關(guān)聯(lián)字段的關(guān)聯(lián)關(guān)系而關(guān)聯(lián)起來的至少兩個數(shù)據(jù)表之間拼接出對應(yīng)的一個關(guān)聯(lián)數(shù)據(jù)表的步驟包括：

針對所述關(guān)聯(lián)起來的至少兩個數(shù)據(jù)表，將具有基于關(guān)聯(lián)字段的關(guān)聯(lián)關(guān)系的兩個數(shù)據(jù)表中的一個數(shù)據(jù)表拼接到另外一個數(shù)據(jù)表，直至拼接到指定數(shù)據(jù)表，

其中，當(dāng)所述至少兩個數(shù)據(jù)表中的兩個數(shù)據(jù)表的待拼接的數(shù)據(jù)表與拼接到的數(shù)據(jù)表之間的關(guān)聯(lián)字段間的對應(yīng)關(guān)系為一對多時，基于所述待拼接的數(shù)據(jù)表內(nèi)的字段與主鍵之間的關(guān)聯(lián)關(guān)系和/或字段的類型，在所述待拼接的數(shù)據(jù)表中添加用于對特定字段的字段值進(jìn)行統(tǒng)計的統(tǒng)計字段，并將添加了統(tǒng)計字段的所述待拼接的數(shù)據(jù)表基于所述關(guān)聯(lián)字段拼接到所述拼接到的數(shù)據(jù)表，其中，所述特定字段包括以下字段中的至少一個：所述待拼接的數(shù)據(jù)表中除主鍵、所述待拼接的數(shù)據(jù)表與所述拼接到的數(shù)據(jù)表之間的關(guān)聯(lián)字段、時間字段之外的數(shù)值型字段；以及所述拼接到的數(shù)據(jù)表中除主鍵、所述待拼接的數(shù)據(jù)表與所述拼接到的數(shù)據(jù)表之間的關(guān)聯(lián)字段、時間字段之外的數(shù)值型字段；

其中，基于所述待拼接的數(shù)據(jù)表內(nèi)的字段與主鍵之間的關(guān)聯(lián)關(guān)系和/或字段的類型在所述待拼接的數(shù)據(jù)表中添加用于對特定字段的字段值進(jìn)行統(tǒng)計的統(tǒng)計字段的步驟包括：

分別將所述待拼接的數(shù)據(jù)表內(nèi)的與主鍵之間的關(guān)聯(lián)關(guān)系為多對多的字段和/或多維度類別型字段中的每一個字段作為統(tǒng)計基準(zhǔn)字段，并生成以所述統(tǒng)計基準(zhǔn)字段為主鍵的附加表，其中，所述附加表中的每條數(shù)據(jù)記錄除主鍵之外的字段基于相應(yīng)主鍵的每個維度在所述待拼接的數(shù)據(jù)表和/或所述拼接到的數(shù)據(jù)表中對應(yīng)的所述特定字段的統(tǒng)計結(jié)果得到；以及

基于所述附加表的主鍵，將所述附加表拼接到所述待拼接的數(shù)據(jù)表。

2.如權(quán)利要求1所述的方法，其中，當(dāng)所述至少兩個數(shù)據(jù)表中的另外兩個數(shù)據(jù)表的待拼接的數(shù)據(jù)表與拼接到的數(shù)據(jù)表之間的關(guān)聯(lián)字段間的對應(yīng)關(guān)系為一對一時，直接基于所述關(guān)聯(lián)字段將所述待拼接的數(shù)據(jù)表拼接到所述拼接到的數(shù)據(jù)表。

3.如權(quán)利要求1所述的方法，其中，基于所述待拼接的數(shù)據(jù)表內(nèi)的字段與主鍵之間的關(guān)聯(lián)關(guān)系和/或字段的類型在所述待拼接的數(shù)據(jù)表中添加用于對特定字段的字段值進(jìn)行統(tǒng)計的統(tǒng)計字段的步驟還包括：

分別將所述待拼接的數(shù)據(jù)表內(nèi)的與主鍵之間的關(guān)聯(lián)關(guān)系為一對多的字段和/或單維度類別型字段中的每一個字段作為統(tǒng)計基準(zhǔn)字段，并分別針對所述統(tǒng)計基準(zhǔn)字段的每個字段值，將所述每個字段值所對應(yīng)的數(shù)據(jù)記錄中的所述特定字段的字段值的統(tǒng)計結(jié)果，作為所述每個字段值所在的數(shù)據(jù)記錄的相應(yīng)統(tǒng)計字段的字段值。

4.如權(quán)利要求1所述的方法，其中，基于所述待拼接的數(shù)據(jù)表內(nèi)的字段與主鍵之間的關(guān)聯(lián)關(guān)系和/或字段的類型在所述待拼接的數(shù)據(jù)表中添加用于對特定字段的字段值進(jìn)行統(tǒng)計的統(tǒng)計字段的步驟還包括：

分別將所述待拼接的數(shù)據(jù)表內(nèi)的與主鍵之間的關(guān)聯(lián)關(guān)系為多對一的字段和/或多維度數(shù)值型字段中的每一個字段作為所述特定字段，并將所述特定字段內(nèi)的每個字段值所包括的各個維度的數(shù)值的統(tǒng)計結(jié)果，作為所述每個字段值所在的數(shù)據(jù)記錄的相應(yīng)統(tǒng)計字段的字段值。